节点 下线 副本hadoop
hadoop启动时报错process information unavailable
启动hadoop，jps查看报错 [root@slave1 home]# jps 7798 -- process information unavailable 7081 -- process information unavailable 查看进程是否存在 [root@slave1 home]# ......
Hadoop的“前世今生”
Hello，小伙伴们，作为大数据的第一篇博文，肯定要先介绍一下大数据中的“大哥大”Hadoop了，别急，咱们慢慢介绍。 一：Hadoop名称由来 与很多其他的开源框架不同，Hadoop的名字并不是一个缩写，而是一个生造出来的词。据说是Hadoop之父Doug Cutting用儿子毛绒玩具大象的名字命 ......
代码随想录算法训练营第四天| LeetCode24. 两两交换链表中的节点、19.删除链表的倒数第N个节点、面试题02.07. 链表相交、142.环形链表II
LeetCode24. 两两交换链表中的节点 ● 今日学习的文章链接和视频链接 代码随想录 (programmercarl.com) 题目链接 24. 两两交换链表中的节点 - 力扣（LeetCode） ● 自己看到题目的第一想法 主要是把这个过程想清楚，链表交换的题目主要想明白要动几个指针，指针改 ......
OB指定开源版本MySQL模式单节点安装
OB指定开源版本MySQL模式单节点安装 yum源处理 yum install -y yum-utils yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.repo yum install -y ......
Hadoop Yarn Tool接口接入
项目搭建参考 Java实现对Hadoop HDFS的API操作 1.驱动类 package cn.coreqi.mapreduce.tool; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.util.Too ......
Hadoop Yarn 调度器多队列
1.容量调度器多队列 1.为何需要多队列 调度器默认就1个default队列，不能满足生产的要求。 1个队列在任务极限的情况下，容易资源耗尽。 特殊时期通过对任务的区分可以保证重要的任务队列资源充足 按照框架区分队列，如hive/spark/flink 每个框架的任务放入指定的队列(企业用的不是特别 ......
Hadoop YARN生产环境核心配置参数
1.ResourceManager相关 配置参数 说明 默认值 备注 yarn.resourcemanager.scheduler.class 配置调度器,默认为容量调度器(Apache) org.apache.hadoop.yarn.server.resourcemanager.scheduler ......
代码随想录算法训练营第四天 | 24. 两两交换链表中的节点，19.删除链表的倒数第N个节点，面试题 02.07. 链表相交，142.环形链表II
一、24. 两两交换链表中的节点 题目链接： LeetCode 24. 两两交换链表中的节点 学习前： 思路： 未新增虚拟结点。节点数为0,1,2需要另外讨论。当节点数>=2时，返回的head值为第2个节点，需要3个指针first、second、prev，分别是第一个节点和第二个节点，以及第一个节点 ......
Hadoop YARN
1.Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基础架构 Yarn主要由ResourceManager、NodeManager、Applicatio ......
Hadoop 数据压缩
1.概述 1.好处 & 坏处 优点：减少磁盘IO、减少磁盘存储空间 缺点：增加CPU开销 2.压缩的原则 运算密集型的Job，少用压缩 IO密集型的Job，多用压缩 2.MR 支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带? 算法 文件扩展名 是否可切片 换成压缩格式后,原来的程序 ......
19.删除链表的倒数第N个节点
题目 19.删除链表的倒数第N个节点 要求 给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点。 答案 先看看直接思路，首先遍历一遍，计算出元素的个数，之后计算出正向遍历要删除的元素，注意的是要创建一个虚拟节点，目的是可能删除头节点，如果删除头节点，没有虚拟节点，不易删除，当然也可以做 ......
24. 两两交换链表中的节点
题目 24. 两两交换链表中的节点 要求 给你一个链表，两两交换其中相邻的节点，并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题（即，只能进行节点交换）。 解答 迭代的思路就是考虑清楚下一个节点是什么，举个实际的例子来解释代码，1→2→3→4→null，首先我先确定了最后要返回的 ......
Hadoop快速入门
Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 ......
倾斜摄影三维模型的根节点合并纹理匀色技术方法分析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
【删除链表的倒数第N个节点】双指针
leetcode 19. 删除链表的倒数第 N 个结点 题解1：通过链表长度获取[倒数第n个节点]位置 计算链表长度 找到[倒数第N个节点]的前一个节点 删除[倒数第N个节点] 注意特殊情况：删除的是第一个节点时，直接返回第二个节点即可 点击查看代码 /** * Definition for sin ......
kubernetes某个节点不可用（kubelet）
问题描述 在kubernetes-dev-worker-2节点某次重启服务器之后发现kubelet不可用，其/var/lib/kubelet/pki/kubelet-client-current.pem证书中的内容空了（不知道咋回事），所以不能再注册到kube-api中。 处理过程： 1.在mast ......
Hadoop MapReduce框架原理
1.InputFormat数据输入 1.数据切片与MapTask并行度决定机制 一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 每一个Split切片分配一个MapTask并行实例处理 默认情况下，切片大小 = BlockSize 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片 ......
Hadoop 数据类型及序列化
1.Hadoop数据类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Writable Writable Writable Writable Writable Writable Writable Writable Writable 2.为何Had ......
prometheus监控k8s集群node节点/linux操作系统
prometheus监控k8s集群node节点/linux操作系统 一、监控linux操作系统 1、下载二进制包 wget https://github.com/prometheus/node_exporter/releases/download/v1.7.0/node_exporter-1.7.0 ......
Hadoop MapReduce编程规范
用户编写的程序分为三个部分:Mapper、Reducer和Driver 1.Mapper阶段 用户自定义的Mapper要继承自己的父类 Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法中 Mapper的输出数据是KV对的形式（KV的类型可自定义） ......
MySQL中的slave_exec_mode 参数详解（MySQL从节点复制错误处理时，sql_slave_skip_counter VS slave-skip-errors VS slave_exec_mode）（译）
原文地址：https://www.soughttech.com/front/article/7159/viewArticle 今天我偶然看到了参数slave_exec_mode。从手册中的描述可以看出，该参数与MySQL复制有关。它是一个可以动态修改的变量。默认为STRICT mode(严格模式)， ......
当单节点的CPU使用率低于50%且内存使用率低于80%时，会触发本节点资源收缩。
Serverless资源弹性扩缩触发条件 资源弹性扩展触发条件 纵向扩展触发条件 PolarDB主要监控主节点和只读节点的CPU使用率、内存使用率和其他内核层面指标。在监控周期内，出现如下三种情况中的任意一种时，通常会触发Serverless资源纵向扩展： 当单节点的CPU使用率高于80%，会触发本 ......
Hadoop NameNode(SecondaryNameNode) Fsimage和Edits解析
NameNode被格式化之后，将在NameNode目录下产生一些文件 1.Fsimage文件 Fsimage文件是HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的序列化信息 2.Edits文件 Edits文件存放了HDFS文件系统的所有更新操作的路径， ......
倾斜摄影三维模型根节点合并的模型层级和块大小划分规则探讨
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
[LeetCode Hot 100] LeetCode24. 两两交换链表中的节点
题目描述 思路： 创建dummy节点，令dummy.next = head。令cur表示当前到达的节点，初始时cur = dummy。每次需要交换cur后面的两个节点。 如果cur的后面没有节点或者只有一个节点，则没有更多的节点需要交换，因此结束交换。否则，获得cur后面的两个节点node1和nod ......
7.完全二叉树的节点个数
222. 完全二叉树的节点个数 1、概要 给出一个完全二叉树，求出该树的节点个数。 示例 1： 输入：root = [1,2,3,4,5,6] 输出：6 首先按照普通二叉树的逻辑来求。这道题目的递归法（后序）和求二叉树的深度(取MAX)写法类似， 而迭代法，遍历模板稍稍修改一下，记录遍历的节点数量就 ......
Hadoop 配置的优先级
从低到高 1.默认配置 默认文件 文件存放在Hadoop的jar包中的位置 core-default.xml hadoop-common-3.3.6.jar/core-default.xml hdfs-default.xml hadoop-hdfs-3.3.6.jar/hdfs-default.xm ......
[LeetCode19-链表-中等] 删除链表的倒数第N个节点
这道题也是关于链表的题目，题目原意是这样的，给你一个链表，删除这个链表的倒数第n个结点，并返回头结点(也就是其余的结点组成的新链表) 比如 1->3->5->7->9 n =2 也就是删除倒数第2个结点，值为7的结点。返回头结点为 1->3->5->9 ......
Java实现对Hadoop HDFS的API操作
1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependen ......
Hadoop 配置Windows 客户端
1.根据Hadoop版本下载Windows依赖，并放置到非中文目录下 https://github.com/cdarlint/winutils 2.配置环境变量 HADOOP_HOME -> 放置的目录地址 PATH -> 追加%HADOOP_HOME%\bin 3.测试环境 双击winutils. ......