节点 下线 副本hadoop
Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
Hadoop 常用端口号
端口名称 Hadoop2.x Hadoop3.x HDFS NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 HDFS NameNode HTTP UI 50070 9870 YARN MapReduce查看执行任务端口 8088 8088 历史服务器通信端 ......
服务器节点建立互信
1、节点之间建立互信可以免密登录和访问 执行 ssh-keygen -b 1024 -t rsa cd /root/.ssh ls #可以看到刚生成的公钥和私钥 若对应节点下无/root/.ssh 目录执行 ssh-keygen -b 1024 -t rs 即可 将公钥修改名称后 传输至对应节点下的 ......
虚拟机运行Hadoop | 各种问题解决的心路历程
ps：完成大数据技术实验报告的过程，出项各种稀奇古怪的问题。(知道这叫什么吗？经济基础决定上层建筑，我当时配置可能留下了一堆隐患，总之如果有同样的问题，希望可以帮到你) 一、虚拟机网络连接不通的各种情况 我这里遇到的是，三台虚拟机，两台piing百度不同 原因：改了下内存，重启就又未知的网络名称 解 ......
以Hub为中心节点的网络技术探析
在计算机网络中，Hub是一个重要的组成部分，它作为中心节点，连接着各个站点，实现数据的传输和通信。本文将对以Hub为中心节点的网络进行深入的技术探析。 首先，我们需要了解什么是Hub。在网络术语中，Hub通常指的是集线器，它是一种物理层设备，主要用于连接和管理局域网中的多个节点。Hub的主要功能是接 ......
倾斜摄影三维模型的根节点合并的模型质量提升方法探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
修改k8s节点上的pod数
测试环境是k8s1.25 查看kubelet配置文件 查看/etc/systemd/system/kubelet.service.d/10-kubeadm.conf 本次测试是在/var/lib/kubelet/kubeadm-flags.env中添加了参数--max-pods=200，然后重启ku ......
k3s突破单节点pod数量110限制
k3s 突破pod数量110限制 新增kubelet.config配置文件 vim /etc/rancher/k3s/kubelet.config 输入如下内容 apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguratio ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
15_完全二叉树的节点个数
完全二叉树的节点个数 给你一棵 完全二叉树 的根节点 root ，求出该树的节点个数。 完全二叉树 的定义如下：在完全二叉树中，除了最底层节点可能没填满外，其余每层节点数都达到最大值，并且最下面一层的节点都集中在该层最左边的若干位置。若最底层为第 h 层，则该层包含 1~ 2h 个节点。 示例 1： ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
CAN-bus应用笔记：节点篇
在CAN-bus电路设计中，理论上收发器支持节点数最多可做到110个，但实际应用中往往达不到这个数量。今天我们就来谈谈如何通过合理的CAN-bus总线设计，保证CAN网络中的通讯的可靠性和节点数量。 影响CAN总线节点数的因素 影响总线节点数的因素有多种，本文我们从满足接收节点的差分电压幅值方面来讨 ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......
C++ 存储不同数据类型的节点
由于节点是使用了模板，所以理论上来讲节点是可以具有不一样的数据类型的 但，我觉得这依旧很难实现，因为需要保存根节点地址，否则链表只会游离在内存当中，无法访问。 template <typename T> class Node { public: T data; void* next = nullpt ......
七、Hadoop优化
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 ......
CAN总线设计---CAN节点的电容、CAN终端电阻、CAN总线共模电感/共模扼流圈
CAN的传输速度最大可达到1Mbps，它通过差分方式跟总线连接。 1.CAN节点的电容： 汽车CAN总线设计规范对于CAN节点的输入电容有着严格的规定，每个节点不允许添加过多容性器件，否则节点组合到一起后，会导致总线波形畸变，通讯错误增加。具体如表 1所示。为汽车测试标准GMW3122中的输入电容标 ......
干湿节点的区分
1、干接点 无源开关，具有闭合和断开的2种状态，2个接点之间没有极性，可以互换 有限位开关、行程开关、旋转开关、温度开关、各种按键以及各种传感器的输出等 方向有：中控 >对端：一般采用relay【继电器】，电压范围在0-10V 对端 >中控 ：一般采用IO，对中控来说是输入信号， 2、湿节点 有源开 ......
分片/分区和副本
slot也有分区的意思；（redis里） 这是两个很重要的概念，新的存储中间件如ES、Kafka、MongoDB等都用了这两种技术； 分片/分区是实现数据分流的重要手段，也是实现动态扩容的重要手段； 而副本则是冗余数据实现高可用 而数据具体是放哪个分片则是通过路由来实现，kafka它要求所有的数据都 ......
倾斜摄影三维模型的根节点合并的优势分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
centos7.5 hadoop NAT 静态IP网络环境搭建
1 设置 VMware 网络环境 1. 选择VMNet8 并将子网IP 修改为 192.168.10.0，保证集群ip都在这个网段下 2. 选择NAT 设置，配置NAT的网关为 192.168.10.2 2 设置 windows11 网络环境 1. 打开 控制面板\网络和 Internet\网络连接 ......
相邻节点数量条形图
相邻节点数量条形图 结果图展示 该条形图展示的是相邻节点数（number of adjacent nodes）最高的前几位节点。 输入数据 该输入数据的每一行都显示的是两个存在连接的相邻节点（adjacent nodes）。每一行的两个节点用制表符“\t”分隔。 node1 node2 RAD51 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
代码随想录算法训练营第四天 | 24. 两两交换链表中的节点 19.删除链表的倒数第N个节点 142.环形链表II
LeetCode 24. 两两交换链表中的节点 题目链接: LeetCode 24 思路: 交换结点前将cur后第一个结点和第三个结点进行保存，然后修改cur指向头节点后再修改头节点后的结点 class Solution { public: ListNode* swapPairs(ListNode* ......
安装hadoop
hadoop:https://blog.csdn.net/weixin_44898710/article/details/109832031 将压缩包上传到服务器 # 上传到/home/software路径 # 设置权限 chmod 755 hadoop-3.2.1.tar.gz # 解压 tar ......
Hadoop 一些脚本总结
1.各个模板分开启动/停止 1.整体启动/停止 HDFS start-dfs.sh / stop-dfs.sh 2.整体启动/停止 YARN start-yarn.sh / stop-yarn.sh 2.各个服务组件逐一启动/停止 1.分别启动/停止 HDFS组件 hdfs --daemon sta ......
Hadoop 配置日志聚集
本文章的前置Hadoop-3.3.6分布式集群搭建步骤 概念： 集群中的每台Hadoop节点的运行都会产生日志，开启日志聚集后，将所有运行日志信息上传到Hadoop HDFS系统上，可以更好的查看运行详情，方便开发及调试。 注意：需要重启NodeManage、ResourceManager和Hist ......