集群 常见 错误hadoop
Packet.dll使用错误报错——应用程序无法正常启动(0xc000007b)
程序打开报错： 解决方案：替换Packet.dll 1 System32 和 SysWOW64 在 Windows 操作系统中的反直觉存放 ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
BeeGFS部署高可用集群
BeeGFS 高可用集群搭建 参考文档：https://aws.amazon.com/cn/blogs/china/how-to-build-beegfs-on-aws-system/ 目标状态查询 元数据 targets > beegfs-ctl --listtargets --nodetype= ......
docker创建mysql集群
一、创建mysql的节点目录 # 创建第一个节点 mkdir /home/mysql-cluster/node1 cd /home/mysql-cluster/node1 mkdir conf data files log # 创建第二个节点 mkdir /home/mysql-cluster/no ......
awk常见用法（更新中）
来源 十分钟学习awk命令 常用 将Linux命令输出结果的第 n 列的所有内容过滤出来： ps | awk '{print $1}' 这个列的分隔符默认是会把空格给排除掉。 如果是类似于 path 变量这种，使用冒号作为分割，可以使用 -F 选项： awk -F ':' '{print $1}' ......
Kafka集群调优+能力探底
一、前言 我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下： 标准版： 2C4G 铂金版： 4C8G 专业版： 8C16G 企业版： 16C32G 另外，一般来讲，在同配置下，kafka的读性能是要优于写性能的，写操作时，数据要从网卡拷贝至堆内存，然 ......
从github下拷贝文件时出现SSL证书错误
解决方式：解除ssl验证后，再次git即可 git config --global http.sslVerify false ......
StackGres 数据库平台工程，使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群
系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程，集群高可用(Patro ......
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
数据结构常见存储方式c语言
图 邻接矩阵 /*图的邻接矩阵存储表示法*/ //用两个数组分别存储顶点表和邻接矩阵 #define MaxInt 32767 //表示极大值，即无穷 #define MVNum 100 //最大顶点数 typedef char VerTexType; //假设顶点的数据类型为字符型 typedef ......
项目经理岗面试常见问题
一、注意事项 ·电面邀约确认（避免hr刷KPI）： 请问贵司招聘的是什么岗位，是新建团队还是原有团队？ 这边面试流程是怎样的，是leader直接面，还是？ ·面试前铺垫： 如果您对某部分感兴趣，请随时打断我。 ·面试中发挥： 尽量采用STAR原则回答，即 情境（Situation）、任务（Task） ......
可靠信号与不可靠信号，大部分文章都是错误的
关于操作系统的信号，一直是比较难于理解容易出错的地方关于可靠信号与不可靠信号，网络上大部分文章相互抄袭，都是错的本文在深度参考了APUE和TLPI，试图说清楚这两者的差异 一· 可靠信号与不可靠信号 早期的signal函数 在首次注册前没有办法使用屏蔽字让信号保持未决，此信号也容易丢失 在每次信号处 ......
【C语言调用Python】Py_Finalize() 时报 GC 崩溃错误。
Py_Finalize() 时报 GC 崩溃错误。 记一次有趣的报错随笔。 报错现场 在使用如下的报错代码时，在释放阶段调用Py_Finalize()，报如下Assert崩溃。 原因 结论 在调用函数逻辑里的Exit0中，对变量pModuleDict和pClass进行了手动释放，引用计数-1（宏KL ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
DC电源模块的常见故障有哪些？
DC电源模块的常见故障有哪些？ BOSHIDA DC电源模块是电子设备中常见的电源供应模块，它可以将交流电转化为直流电供给设备使用。然而，由于长期的使用和外界环境等因素的影响，DC电源模块也会出现各种故障。下面我们来介绍一下常见的DC电源模块故障。 1.输出电压异常输出电压异常是DC电源模块最常见的 ......
DC电源模块的常见问题有哪些？
DC电源模块的常见问题有哪些？ BOSHIDA DC电源模块是一种常见的电源供应设备，主要用于将交流电（AC）转换为直流电（DC）。然而，无论是新购买的还是已经使用一段时间的DC电源模块，都可能会遇到一些常见问题，如下所述。 1. 输出电压不稳定：输出电压的稳定性是DC电源模块的重要指标之一。在使用 ......
记一次K8S项目flanneld启动失败错误
node节点启动falnneld失败，查看日志有以下报错信息 /var/log/message 报错信息 certificate signed by unknown authority (possibly because of "crypto/rsa: verification error" whi ......
4、虚拟机单机、集群的克隆、删除脚本（以初始化好的虚拟机为模板）
摘自：https://blog.51cto.com/mfc001/6408229 虚拟机克隆、删除脚本 [root@ubunt ~]# cat clone.sh #!/bin/bash # #. /etc/init.d/functions （如果是ubuntu，注释此行） Red="\e[1;31m ......
常见问题
常见问题 思源是如何存储数据的？ 数据保存在工作空间文件夹下，在工作空间/data/ 文件夹下： assets 用于保存所有插入的资源文件 emojis 用于保存自定义图标表情图片 snippets 用于保存代码片段 storage 用于保存查询条件、布局和闪卡数据等 templa ......
使用Slurm集群进行分布式图计算：对Github网络影响力的系统分析
本文在华为云弹性云服务器集群中部署Slurm作业调度系统，并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
聊聊部署在不同K8S集群上的服务如何利用nginx-ingress进行灰度发布
前言 之前有篇文章聊聊如何利用springcloud gateway实现简易版灰度路由,里面的主人公又有一个需求，他们有个服务是没经过网关的，而是直接通过nginx-ingress暴露出去，现在这个服务也想做灰度，他知道在同个集群如何利用nginx-ingress进行灰度发布，但是现在这个服务是部署 ......
关于hadoop hive中使用hive分区功能
很多人习惯了使用第三方的工具 去连接hive或者hbase数据库，并且 使用其中的sql编辑器进行失去了语句 的使用来进行数据的分析等一系列的 操作，但是一些shell命令也可以在其中 运行例如： 1. set hive.exec.dynamic.partition=true; 2. set hiv ......
公网搭建Kubernetes集群
由于本次软分大作业采用一台华为云服务器和两台阿里云服务器，两者之间内网不互通，无法搭建内网k8s集群，不得已才在公网搭建。 公网搭建会出各种问题，有条件的话还是建议在内网搭建。 一个很详细的教程：https://zhuanlan.zhihu.com/p/627310856 一、服务器配置 主机名 i ......
七、Hadoop优化
优化1：Combiner 使用之前 使用之后 减少的了reduce 从map拉取数据的过程，提高计算效率。 hadoop 的计算特点：将计算任务向数据靠拢，而不是将数据向计算靠拢。 特点：数据本地化，减少网络io。 首先需要知道，hadoop数据本地化是指的map任务，reduce任务并不具备数据本 ......
OpenCV4.1.0与CUDAcuda_10.1.105联合进行图像特征点提取和特征匹配时，运行程序时错误提示：无法定位程序输入点?createBFMatchercv@DescriptorMatcher@cuda@cv......于动态链接库......
问题描述： OpenCV4.1.0与CUDAcuda_10.1.105联合进行图像特征点提取和特征匹配时，运行程序时错误提示：无法定位程序输入点?createBFMatchercv@DescriptorMatcher@cuda@cv......于动态链接库......，如下图所示： 解决办法： 如果 ......
容器与集群——通过deployment 创建pod以及Java Web应用的容器化发布
## 一、通过deployment 创建pod 1.1 编写yaml文件 1.2 安装pod 创建kubectl create -f dp-nginx.yaml 查看Deployment信息 1.3 查看相关信息 查看pod信息kubecel get pods 查看rs信息 二、Java Web应用 ......
vsphere client 无法连接到 出现未知连接错误，由于远程服务器响应时间过长，请求失败（操作超时）
VMware ESXi服务器虚拟机在正常使用过程中，有时候会突然出现远程连接不上的问题，那么这个时候使用vSphere Client连接会出现如下错误： 1、使用直接控制台用户界面 (DCUI)重启管理代理： 连接到您的 ESXi 主机的控制台。按 F2 自定义系统。以 root 身份登录。使用上下 ......
如何快速处理Git push错误的记录
命令行如下 git reset --hard HEAD^ 可以本地删掉最后一个commit。 git push --force-with-lease 推送到远程删掉最后一个commit git cherry-pick HASH 最后本地恢复最后一个commit。 演示操作 1.准备错误的记录并进行p ......