start-dfs hadoop start dfs
hadoop配置
基础准备 sudo apt install ssh pdsh # 安装 ssh sudo apt install openjdk-8-jdk # 安装 jdk8 在.bashrc文件中添加： export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ......
LOJ-3033/QOJ-4896/南外集训 2023.12.26 T3 Alice、Bob 与 DFS
恶魔的低语，会送来天堂的福音。 题意 有一个 \(n\) 个点的有向无环图，第 \(i\)（\(1 \le i \le n\)）个点有 mi 条有序的出边 \(e_{i,1}, e_{i,2}, . . . , e_{i,m_i}\)。每个点要么是黑点，要么是白点。有 \(k\) 个程序，第 \(i ......
hadoop数据迁移
使用Distcp进行Hadoop数据迁移 DispCP官方文档 在进行数据迁移前确认数据量大小和数据文件数,源端和目的端都需要确认： hdfs dfs -count / 59790 7008 22875716090 / 59790：表示目录 / 下的文件总数，即包括目录和文件在内的所有对象的数量。 ......
Windows下的Redis启动报错Redis service failed to start解决方法
报错原因：Redis服务没有找到log文件 解决方法 在Redis安装目录下打开redis.windows-service.conf文件 搜索logfile，找到logfile存放目录，一般默认为Logs/redis_log.txt 在Redis安装目录创建Logs文件夹，在Logs文件夹下创建re ......
-bash: ./start.sh: /bin/bash^M: 坏的解释器: 没有那个文件或目录
写Linux启动脚本遇到的一个坑。因为脚本文件 start.sh 中存在不可见的特殊字符，具体是 "^M"（也被称为 Carriage Return，CR）。这通常是由于在 Windows 系统中编写的文件在 Linux 或者 Unix 系统中执行时，文件格式不兼容所导致的。 可以使用 sed 命令 ......
Quake recovery starts with a bowl of hot beef noodles 地震恢复从一碗热牛肉面开始
In freezing temperatures, a simple bowl of beef noodles brings hope to thousands of residents who lost their homes in the magnitude-6.2 earthquake in ......
Hadoop YARN Cgroups 资源隔离讲解
目录一、概述二、Hadoop 环境准备三、内存资源限制四、CPU 资源限制1）启用 LCE2）启用 CGroup3）配置 Yarn CGroup 目录3）CPU 资源限制 一、概述 Hadoop YARN (Yet Another Resource Negotiator) 使用 Cgroups（Co ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
算法复习 DFS两题
全排列 模版题 AcWing 842. 排列数字 #include <cstdio> #include <vector> #include <queue> #include <cstring> #include <algorithm> #include <iostream> #include <st ......
P9669 [ICPC2022 Jinan R] DFS Order 2 题解
Description P 哥有一棵树，根节点是 \(1\)，总共有 \(n\) 个节点，从 \(1\) 到 \(n\) 编号。 他想从根节点开始进行深度优先搜索。他想知道对于每个节点 \(v\)，在深度优先搜索中，它出现在第 \(j\) 个位置的方式有多少种。深度优先搜索的顺序是在搜索过程中访问节 ......
OpenPLC官方文档简单翻译（一）Get Started
参考网址：https://autonomylogic.com/docs/openplc-overview/ 网站更新时间：2022-10-05 1.1 OpenPLC Overview OpenPLC是一个开源的基于软件的可编程逻辑控制器。OpenPLC是基于IEC 61131-3标准（PLCs的基 ......
图(树)的深度优先遍历dfs
图的深度优先遍历 深度优先，即对于一个图或者树来说，在遍历时优先考虑图或者树的单一路径的深度。示意图如下 即深度优先搜索的核心就是对一个路径一直向下搜索，当搜索到头时就回溯到前一状态再寻找别的路 深搜问题一般有两种情况，一种是搜索时元素只能用有限次，这需要我们定义一个全局标记数组来对已经使用的数字进 ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
针对start.sh 更有效果启动命令的快捷方式
如果新建一个start.sh ps -ef | grep `ls -1r hot-data-sync*.jar | head -1` | grep -v "grep" | awk "),{print $2}"), NAME=`ls -1r hotwheels-data-sync*.jar | hea ......
Docker启动Nacos报错：Nacos Server did not start because dumpservice bean construction fail
一、表象 重启服务器之后Docker运行Nacos容器，启动成功，但是外网无法访问。 查看了一下Nacos启动日志（docker logs nacos容器名） 二、分析 很明显是数据库配``置问题。。如果是数据库配置的问题，可以着重检查以下信息尤其是MySQL内网Host，查询方式见Docker安装 ......
大数据hadoop理论面试题
1、列举几个hadoop生态圈的组件并做简要描述？ （1）Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 （2）Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 （3）Hbase:是一个分布式的、面向列 ......
[LeetCode22-中等-DFS] 括号生成
这道题考使用回溯(递归的一种）进行深度优先算法，题目是这样的 数字n代表生产括号的对数，写一个算法，返回所有有效的括号组合 比如 n =1 代表生成1对括号，显然答案就是 “()" n = 2, 代表生成2对括号, 答案就是"()()","(())" n=3 代表生成3对括号，答案就是 "((()) ......
Docker启动Nacos报错：Nacos Server did not start because dumpservice bean construction fail
一、表象 重启服务器之后Docker运行Nacos容器，启动成功，但是外网无法访问。 查看了一下Nacos启动日志（docker logs nacos容器名） 二、分析 很明显是数据库配``置问题。。如果是数据库配置的问题，可以着重检查以下信息尤其是MySQL内网Host，查询方式见Docker安装 ......
Docker启动Nacos报错：Nacos Server did not start because dumpservice bean construction fail
一、表象 重启服务器之后Docker运行Nacos容器，启动成功，但是外网无法访问。 查看了一下Nacos启动日志（docker logs nacos容器名） 二、分析 很明显是数据库配``置问题。。如果是数据库配置的问题，可以着重检查以下信息尤其是MySQL内网Host，查询方式见Docker安装 ......
报错：org.apache.hadoop.hbase.util.GetJavaProperty
hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m ......
Docker启动Nacos报错：Nacos Server did not start because dumpservice bean construction fail
一、表象 重启服务器之后Docker运行Nacos容器，启动成功，但是外网无法访问。 查看了一下Nacos启动日志（docker logs nacos容器名） 二、分析 很明显是数据库配``置问题。。如果是数据库配置的问题，可以着重检查以下信息尤其是MySQL内网Host，查询方式见Docker安装 ......
【GD32307E-START】06 ST7735 SPI-LCD显示模块移植
软硬件平台 GD32F307E-START Board开发板 GCC Makefile 1.8寸TFTLCD 分辨率128*160 驱动IC ST7735S 接口定义 序号 引脚标号 说明 1 GND 接地 2 VCC 5V/3.3V电源输入 3 SCK SPI总线时钟信号 4 SDA SPI总线写 ......
hadoop集群常见错误
虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 ......
GDB Quick Start
什么是 GDB GDB 是 GNU 项目下的一个调试器，它允许在程序运行的时候检查程序内部到底发生了什么。 GDB 可以做到以下事情： 开始程序，设置观测参数。 在特殊情况下暂停程序执行。 当程序停止执行的时候，检查程序状态。 修改程序，在修复某个 bug 后可以继续进行测试，寻找其他的 bug。 ......
hadoop启动时报错process information unavailable
启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# ......
Hadoop的“前世今生”
Hello，小伙伴们，作为大数据的第一篇博文，肯定要先介绍一下大数据中的“大哥大”Hadoop了，别急，咱们慢慢介绍。 一：Hadoop名称由来 与很多其他的开源框架不同，Hadoop的名字并不是一个缩写，而是一个生造出来的词。据说是Hadoop之父Doug Cutting用儿子毛绒玩具大象的名字命 ......
Hadoop Yarn Tool接口接入
项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......
Hadoop Yarn 调度器多队列
1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......
Hadoop YARN生产环境核心配置参数
1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......