start-dfs hadoop start dfs
DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): conda.anaconda.org:443
001、问题 conda 安装samtools出现如下问题： (base) [root@pc1 home]# conda install samtools -c bioconda 002、解决方法 ......
Hadoop-Operation category READ is not supported in state standby 故障解决
在查询hdfs时或者执行程序向hdfs写入数据时遇到报错：Operation category READ is not supported in state standby 意思是：该主机状态为待机,不支持操作类别READ. 你会发现最基本的hdfs命令都不能执行，例如：hadoop fs -ls ......
Hadoop2伪分布式安装
最近有观看我主讲的《Hadoop基础与演练》课程的同学问到Hadoop环境到底应该怎么安装。Hadoop的安装其实非常的简单，网上有很多教程，官网也有示例。但是可能部分同学对于linux不太熟悉，导致安装的时候会遇到各种问题，打击学习激情。本文就来详细的讲解一下如何配置Hadoop2的伪分布式环境， ......
【LeetCode递归】括号生成，使用dfs
括号匹配 数字 n 代表生成括号的对数，请你设计一个函数，用于能够生成所有可能的并且 有效的 括号组合。 示例 1： 输入：n = 3 输出：["((()))","(()())","(())()","()(())","()()()"] 示例 2： 输入：n = 1 输出：["()"] 提示： 1 < ......
Process.Start 卡死问题解决
首先声明是GPT的功劳 代码如下： var p = Process.Start(exe, arg); p.WaitForExit(); 现象：调度显示在第一句卡死，压根没走到第二句 GPT分析原因：对于进程启动后卡死的情况，一种可能的原因是标准输出缓冲区已满，导致进程被阻塞无法继续执行。为了解决这个 ......
JAVA图搜索算法之DFS-BFS
图算法DFS与BFS BFS和DFS代表对图进行遍历，即搜索的算法，搜索算法中常用的只要有两种算法:深度优先遍历(Depth-First-Search : DFS)和广度优先遍历(Breadth-First-Search : BFS)。一个图结构可以用来表示大量现实生活中的问题，比如，道路网络，计算 ......
Hadoop问题解决（5）
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。log类似如下：All datanodes *** are bad. Aborting. ......
在hadoop虚拟机里面使用hadoop jar运行打包文件，出现Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RpcNoSuchProtocolException): Unknown protocol: org.apache.hadoop.的问题的解决
问题描述 更改了JDK版本之后，再次运行又出现了这个错误： 问题解决 经过查阅相关资料，发现是自己定义的hdfs的路径不太对，本来写的是这样的： 然后自己确实不记得配置环境时配置的是多少，就看了看这个文件core.site.xml: cat core-site.xml 然后看到这里： 使用的端口号是 ......
11g-crsctl_start_crs-failed-workaround
SYMPTOMS crsctl start crs CRS-4124: Oracle High Availability Services start failed CAUSE： Install of Clusterware fails while running root.sh on OL7 - ......
DFS 与 BFS
简介 状态：解决问题所关注的属性的集合。 转移：状态之间的变化过程。 搜索：处理状态转移、寻找新状态、枚举（遍历）所有状态的一种算法思想。 搜索树：状态和有效转移形成的树形结构，每个状态只会被扩展一次。 深度优先搜索 全称为 Depth-First Search，简称 DFS、深搜。 这个算法一般采 ......
监控汇聚/视频融合平台EasyCVR启动时打印starting server:listen tcp的解决方案
EasyCVR视频汇聚平台是一款基于云边端智能协同的视频云存储和安防监控系统。该系统具备以下功能：视频监控直播、视频轮播、视频录像、云存储、回放与检索、智能告警、服务器集群、语音对讲、云台控制、电子地图、H.265自动转码H.264、平台级联等。为了方便用户进行二次开发、调用和集成，TSINGSEE ......
hadoop集群搭建及编程实践
Hadoop集群搭建 前期准备及JDK，hadoop安装 设置主机名和添加主机映射 验证连通性 SSH无密码登录 配置集群/分布式环境 修改workers 修改文件core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 分发到其 ......
Hadoop问题解决（3）
在启动hadoop过程中，出现如下错误： 192.168.10.100: Invalid maximum heap size: -Xmx0m192.168.10.100: Could not create the Java virtual machine.192.168.10.100: jobtra ......
hadoop问题解决（4）
默认配置是将datanode,namenode,jobtracker,tasktracker,secondarynamenode的pid存放在/tmp目录下, 随着linux的定期清理, 这些pid就不见了,当然就无法停止了, 怎么解决呢?在/tmp目录创建或者修改hadoop-hadoop用户名- ......
dfs 与 bfs
$$dfs$$ 深度优先搜索，全称 Depth First Search，通常有两种意义：递归暴力枚举每种情况、图论中用于遍历或搜索图的算法。 搜索：递归暴力枚举每种情况 OI-wiki Link 没有什么好说的，经常用于打暴力，像 xhr 神仙就可以用它打出 HN 2023 小学组 S 1=。 洛 ......
xpath 处理自增的id manage11 使用表达式 //*[starts-with(@id, "manage") and number(substring-after(@id, "manage")) = 11]
//*[starts-with(@id, "manage") and number(substring-after(@id, "manage")) = 11] 1.使用starts-with()函数选择以"manage"开头的所有元素， 2.使用substring-after()函数获取ID中"ma ......
QT在debug环境下的异常报错 This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.
查看错误信息：试试Release 检查 控制台 (/SUBSYSTEM:CONSOLE) 输入错误信息,修改全部报错信息后再试试Debug模式可不可以运行。 方案一:高级系统设置-环境变量- QT_QPA_PLATFORM_PLUGIN_PATH C:\Qt\Qt5.12.12\5.12.12\ms ......
【大数据】Hadoop配置（文档版本）
主机配置： 192.168.88.101 test1 192.168.88.102 test2 192.168.88.103 test3 Hadoop 上传压缩包并且解压 hadoop百度云：链接：https://pan.baidu.com/s/1DRV_x7Q_ZTUO4KMkr2-6Qg? ......
[DFS]电话号码的字母组合
电话号码的字母组合 这道题目的本质是笛卡尔积问题，可以通过DFS求解，分别采用C/Java语言实现 #include <stdio.h> #include <stdlib.h> char *phoneMap[10] = {"", "", "abc", "def", "ghi", "jkl", "mn ......
Hadoop问题解决记（2）
1. 发现问题 在对HBase集群进行压力测试过程中发现，当实际写入HBase和从HBase查询的量是平时的若干倍时（集群规模10~20台，每秒读写数据量在几十万条记录的量级），导致集群的读写出现一定程度的波动。具体如下： 1）写端抛出以下异常信息： org.apache.hadoop.hbase. ......
Hadoop问题解决记（1）
最近在测试HBase时遇到一个非常奇怪的问题：集群有7台机器，其中1台Master，6台RegionServer。但是Master只能控制其中1台RegionServer，而无法控制其他5台RegionServer。 打开master的日志文件，发现以下错误信息： 2011-04-22 16:37: ......
LINUX：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
如图，问题表现为linux中可直接通过hive进行数据插入 但在通过datagrip却更改不了 此时，可能时yarn的运行分配的内存较少，或堆内存溢出。在yarn-site.xml中更改，以及mapred-site.xml中更改，完成。 yarn的 <property> <name>yarn.sch ......
hadoop部署
mapred-site.xml <configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value></property><property> <name>mapreduce.jobhistory.ad ......
hadoop HA高可用集群搭建
首先是四项配置 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apach ......
搭建Hadoop环境
搭建Hadoop环境 一、虚拟机的安装 二、 安装JDK 1.下载jdk wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz 使用上述命令安装 2.执行以下命令 ......
pycharm无法打开终端：open Local Terminal_Failed to start [powershell.exe]
今天在运行pycharm的时候出现了这个问题 open Local Terminal_Failed to start [powershell.exe] 直接上解决办法 1.进入设置 2.选择tools下的terminal 然后修改shell path 如果没有的话需要找到本机的powershell的 ......
Hadoop介绍
一，Hadoop介绍 狭义上Hadoop指的是Apache软件基金会的一款开源软件，用java语言实现。允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 Hadoop核心组件 Hadoop HDFS(分布式文件存储系统):解决海量数据存储 Hadoop YARN(集群资源管理和任 ......
Hadoop集群搭建(完全分布式)
一，Hadoop集群简介 1.1 Hadoop集群整体概述 Hadoop集群包括两个集群:HDFS集群、YARN集群 两个集群逻辑上分离、通常物理上在一起 两个集群都是标准的主从架构集群 Hadoop两种集群内容： 逻辑上分离，物理上合并的理解： 逻辑上分离：两个集群互相之间没有依赖、互不影响 物理 ......
华为S5700交换机console配置线连接Press ENTER to get started卡住不动
Console配置线连接华为S5700S交换机，每次都卡住 Press ENTER to get started 使用了网友及官方说的取消勾选等方式都不行 换了跟console线，立马就解决了，连接正常 报错用的是CH340驱动的线，后来换成PL2303芯片的线， 不确定跟驱动有没有关系，或者线本身 ......
bash的start脚本
#!/bin/bash #这里可替换为你自己的执行程序，其他代码无需更改 APP_NAME=gateway-1.0-SNAPSHOT.jar INSTALL_PATH=/home/server/immp/gateway #使用说明，用来提示输入参数 usage() { echo "Usage: sh ......