优先级hadoop
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单台服 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云 ......
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单 ......
K8s中下线Hadoop节点（节点下线，调整副本数）
K8s中下线Hadoop节点（节点下线，调整副本数） 将Hadoop从三副本修改为双副本，同时修改datanode和nodemanager节点数为2 修改hadoop节点副本数和datanode以及yarn nodemanager节点数： hadoop.hdfs.replication=2 hado ......
【排序链表】（自顶向下/自底向上）归并排序、优先队列
leetcode 148. 排序链表 自顶向下归并排序 用快慢指针找到序列中间位置 这里要注意一个细节：始终使fast指向链表尾节点的next节点(也就是null)，这样slow指向后半段链表的起点，避免出现死循环。 前半段链表[head, slow)，后半段[slow, fast) 合并两个排序链 ......
hadoop配置
基础准备 sudo apt install ssh pdsh # 安装 ssh sudo apt install openjdk-8-jdk # 安装 jdk8 在.bashrc文件中添加： export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ......
用DevExpress WPF Windows 10 UI组件，轻松构建触摸优先的业务型应用UX（上）
DevExpress WPF的Windows 10 UI组件包含了一系列应用导航组件、Toast通知、对话框组件等，能帮助用户轻松开发漂亮的业务型应用程序，并模仿触摸优先的Windows 10 Pro UX。 P.S：DevExpress WPF拥有120+个控件和库，将帮助您交付满足甚至超出企业需 ......
P1339 [USACO09OCT] Heat Wave G 最短路入门题 Dijkstra/SPFA/Dijkstra+优先队列优化
目录朴素的 Dijkstra 算法SPFA 算法Dijkstra + 优先队列优化 题目链接：https://www.luogu.com.cn/problem/P1339 题目大意：无向图有单源最短路。 朴素的 Dijkstra 算法 时间复杂度 \(O(n^2)\)。 #include <bits ......
hadoop数据迁移
使用Distcp进行Hadoop数据迁移 DispCP官方文档 在进行数据迁移前确认数据量大小和数据文件数,源端和目的端都需要确认： hdfs dfs -count / 59790 7008 22875716090 / 59790：表示目录 / 下的文件总数，即包括目录和文件在内的所有对象的数量。 ......
算法学习Day13单调队列和优先级队列
Day13单调队列和优先级队列 By HQWQF 2023/12/25 笔记 239.滑动窗口最大值 给定一个数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回滑动窗口中的最大值。 进阶： 你能在线 ......
NTP时间服务器优先级介绍
先思考一个问题：当一个客户端配置向多个NTP时间服务器校时，此时客户端优先向哪个时间服务器同步时间呢？ 一个完整的NTP校时请求分四步： 1、客户端向服务器发起校时请求 2、服务器收到客户端发送的校时请求 3、服务器处理客户端的校时请求并发送（响应）给客户端 4、客户端收到服务器响应的信息并修正自身 ......
Hadoop YARN Cgroups 资源隔离讲解
目录一、概述二、Hadoop 环境准备三、内存资源限制四、CPU 资源限制1）启用 LCE2）启用 CGroup3）配置 Yarn CGroup 目录3）CPU 资源限制 一、概述 Hadoop YARN (Yet Another Resource Negotiator) 使用 Cgroups（Co ......
Hadoop集群迁移(元数据及HDFS数据）
1.背景 老集群采用的腾讯emr集群，使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题，因此决定采用自建hadoop集群，需要将emr的元数据和hdfs基础数据迁移过来。 EMR版本：3.1.2 自建Hadoop版本：3.1.3 2.集群迁移步骤 2.1 数据迁移 nohup hadoop di ......
图(树)的广度优先遍历bfs
图的广度优先遍历 广度优先遍历，就是在遍历时优先考虑遍历的广度，不像深度优先那样一条路径遍历到底，而是一层一层的遍历。 由于广度优先是一层一层节点的遍历，在图的边权值都为1的情况下，若我们要求出节点a到节点b的最短路，就可以以a为源点(source)进行广搜，当a第一次搜到b时，其路径一定最短。因为 ......
图(树)的深度优先遍历dfs
图的深度优先遍历 深度优先，即对于一个图或者树来说，在遍历时优先考虑图或者树的单一路径的深度。示意图如下 即深度优先搜索的核心就是对一个路径一直向下搜索，当搜索到头时就回溯到前一状态再寻找别的路 深搜问题一般有两种情况，一种是搜索时元素只能用有限次，这需要我们定义一个全局标记数组来对已经使用的数字进 ......
Hadoop生产集群搭建
1.环境准备 1.1 集群规划 序号 bigdata-001 bigdata-002 bigdata-003 bigdata-004 bigdata-005 IP x x x x x x xxx xxx xxx 组件 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 节 ......
大数据hadoop理论面试题
1、列举几个hadoop生态圈的组件并做简要描述？ （1）Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 （2）Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 （3）Hbase:是一个分布式的、面向列 ......
运算符的优先级
1、小括号 () 2、一元运算符 ++ -- ！ 3、算数运算符 先* / % 后 + - 4、关系运算符 > >= < <= 5、相等运算符 == != !== 6、逻辑运算符 先&& 后 || 7、赋值运算符 = 8、逗号运算符 ， ......
【CF1661B】Getting Zero（广度优先搜索）
题目大意： 每次操作可以把\(v\)变成\((v+1)\mod 32768\)或\((2\times v)\mod 32768\)，求\(v\)变成\(0\)最少需要操作几次。 \(v\)等于\(0\)时答案为\(0\)，我们将\(0\)标记，然后让\(0\)入队。 然后不断进行以下操作，直到队列为 ......
报错：org.apache.hadoop.hbase.util.GetJavaProperty
hbase和flume查看版本时显示如下 [root@slave1 flume-1.9.0]# hbase version 错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty SLF4J: Class path contains m ......
hadoop集群常见错误
虚拟及没有启动任何服务器查看jps会显示jps，如果没有显示任何东西 [root@slave2 ~]# jps 9647 Jps 解决方案 # 进入/tmp查看 [root@slave1 dfs]# cd /tmp [root@slave1 tmp]# ll 总用量 48 drwxr-xr-x. 2 ......
hadoop启动时报错process information unavailable
启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# ......
springboot配置文件的优先级
1 配置文件不同位置优先级不同 文件路径 相对目录 级别 classpath: application.yml resources目录 最低-程序员 classpath: config/application.yml resources目录下的config目录 项目经理 file: applicat ......
Hadoop的“前世今生”
Hello，小伙伴们，作为大数据的第一篇博文，肯定要先介绍一下大数据中的“大哥大”Hadoop了，别急，咱们慢慢介绍。 一：Hadoop名称由来 与很多其他的开源框架不同，Hadoop的名字并不是一个缩写，而是一个生造出来的词。据说是Hadoop之父Doug Cutting用儿子毛绒玩具大象的名字命 ......
Hadoop Yarn Tool接口接入
项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......
Hadoop Yarn 调度器多队列
1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......
Hadoop YARN生产环境核心配置参数
1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......