hadoop gssapi gssapi-with-mic集群
C++聊天集群服务器6
一、客户端开发 代码如下： #include "json.hpp" #include <iostream> #include <thread> #include <string> #include <vector> #include <chrono> #include <ctime> #includ ......
Java实现对Hadoop HDFS的API操作
1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependen ......
Hadoop 配置Windows 客户端
1.根据Hadoop版本下载Windows依赖，并放置到非中文目录下 https://github.com/cdarlint/winutils 2.配置环境变量 HADOOP_HOME -> 放置的目录地址 PATH -> 追加%HADOOP_HOME%\bin 3.测试环境 双击winutils. ......
Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
kubeadm更新k8s集群证书(1.23.14版本)
1、更新证书 [root@k8s-master01 kubernetes-1.23.14-0]# kubeadm certs renew all --config=kubeadm-config.yaml certificate embedded in the kubeconfig file for ......
Hadoop 常用端口号
端口名称 Hadoop2.x Hadoop3.x HDFS NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 HDFS NameNode HTTP UI 50070 9870 YARN MapReduce查看执行任务端口 8088 8088 历史服务器通信端 ......
kubeadm续期k8s集群证书
1、备份 mkdir /opt/2023-12-09-k8s-backup cp -a /etc/kubernetes /opt/2023-12-09-k8s-backup cp -a /var/lib/etcd /opt/2023-12-09-k8s-backupcp -a /root/.kube ......
k8s:通过 kubectl 插件 Kubepug 实现集群升级检查(废弃API资源检查)
背景:k8s 的版本迭代很快，虽然主要版本一直没有变化，但是次要版本一直在迭代，2022年一年就发布了三个次要版本，同时不同的次要版本之间 API 资源一直在变化，有新加入的，也有废弃删除的。不同版本的 api 资源版本也有不同，往往不是向下兼容的，比如在低版本中 API 资源版本为 v1beta1 ......
kafka集群双活-数据迁移
一、集群搭建（kafka使用自带的zookeeper） 前提：必须要有java环境 1、下载地址： http://kafka.apache.org/downloads 2、安装目录 /app/kafka tar -zxvf kafka_2.12-3.6.1.tgz 建立数据和日志存储目录 mkdir ......
虚拟机运行Hadoop | 各种问题解决的心路历程
ps：完成大数据技术实验报告的过程，出项各种稀奇古怪的问题。(知道这叫什么吗？经济基础决定上层建筑，我当时配置可能留下了一堆隐患，总之如果有同样的问题，希望可以帮到你) 一、虚拟机网络连接不通的各种情况 我这里遇到的是，三台虚拟机，两台piing百度不同 原因：改了下内存，重启就又未知的网络名称 解 ......
redis集群双活-数据迁移
一、redis双活 1、集群搭建 （一主两从） Redis-Sentinel是redis官方推荐的高可用性解决方案，sentinel哨兵是特殊的redis服务，不提供读写服务，主要用来监控redis实例节点，当用redis作master-slave的高可用时，如果master本身宕机，redis本身 ......
nginx搭建SRS-HLS分发集群
1、NGINX Edge Cluster NGINX边缘集群，本质上就是带有缓存的反向代理，也就是NGNIX Proxy with Cache。 只需要配置NGINX的缓存策略就可以，不需要额外插件，NGINX本身就支持： 在/etc/nginx/conf.d下新建： vi ngins-srs-ca ......
将 .NET Aspire AppHost 部署到 Kubernetes 集群
使用Aspirate可以将Aspire程序部署到Kubernetes 集群 工具安装 dotnet tool install -g aspirate --prerelease 注意：Aspirate 正在开发中，该软件包将作为预览版进行版本控制，--prelease 选项将获得最新的预览版。 容器注 ......
十一、RabbitMQ集群
一、clustering 1、使用集群的原因 2、搭建步骤 2.1 搭建架构图 2.2 操作步骤 2.3 实战部分操作演示 二、镜像队列 1、使用镜像的原因 2、搭建步骤 2.1 操作步骤 2.2 实战步骤 三、Haproxy+Keepalive实现高可用负载均衡 1、整体架构图 2、Haproxy ......
Redis集群
Redis Sentinel： 什么是 Sentinel？ 有什么用？ Sentinel 如何检测节点是否下线？主观下线与客观下线的区别? Sentinel 是如何实现故障转移的？ 为什么建议部署多个 sentinel 节点（哨兵集群）？ Sentinel 如何选择出新的 master（选举机制）? ......
vSAN集群添加宿主机报错问题处理
背景： 1、新增宿主机到vsan集群，服务器网口只有4个，所以规划vsan和管理关联到标准交换机（vsan的适配器MTU-9000、管理的适配器MTU-1500）--使用两个网口、vmotion和业务vlan关联到分布式交换机 使用两个网口；2、在往vsan集群添加宿主机的时候，新的宿主机HA状态一 ......
最新版本——Hadoop3.3.6单机版完全部署指南
大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。 本文档 ......
hive执行sql报错 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
前言： 执行hive sql报错，sql逻辑是两个表左连接并将数据插入新的表中。 报错信息： [ERROR] 2023-12-05 15:49:49.165 +0800 - execute sql error: Error while processing statement: FAILED: Ex ......
BeeGFS部署高可用集群
BeeGFS 高可用集群搭建 参考文档：https://aws.amazon.com/cn/blogs/china/how-to-build-beegfs-on-aws-system/ 目标状态查询 元数据 targets > beegfs-ctl --listtargets --nodetype= ......
docker创建mysql集群
一、创建mysql的节点目录 # 创建第一个节点 mkdir /home/mysql-cluster/node1 cd /home/mysql-cluster/node1 mkdir conf data files log # 创建第二个节点 mkdir /home/mysql-cluster/no ......
Kafka集群调优+能力探底
一、前言 我们需要对4个规格的kafka能力进行探底，即其可以承载的最大吞吐；4个规格对应的单节点的配置如下： 标准版： 2C4G 铂金版： 4C8G 专业版： 8C16G 企业版： 16C32G 另外，一般来讲，在同配置下，kafka的读性能是要优于写性能的，写操作时，数据要从网卡拷贝至堆内存，然 ......
StackGres 数据库平台工程，使用 Citus + Patroni 创建生产级高可用分布式 PostgreSQL 分片集群
系列 StackGres, 可私有部署的云原生数据库平台工程 StackGres 数据库平台工程功能介绍与快速上手 StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer) StackGres 1.6 数据库平台工程，集群高可用(Patro ......
hadoop大数据安装
一、hadoop的安装1、hadoop的安装wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz2、解压tar -zxvf hadoop-3.1.3.tar.gz -C /opt/mod ......
hadoop优化之yarn调优
yarn.nodemanager.resource.memory-mb表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 yarn.nodemanager.vmem-pmem-rat ......
start-dfs.sh启动hadoop，jps没显示
查看当前系统的名称 [root@master dfs]# cat /etc/hosts 192.168.128.78 hadoop01 查看core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</ ......
4、虚拟机单机、集群的克隆、删除脚本（以初始化好的虚拟机为模板）
摘自：https://blog.51cto.com/mfc001/6408229 虚拟机克隆、删除脚本 [root@ubunt ~]# cat clone.sh #!/bin/bash # #. /etc/init.d/functions （如果是ubuntu，注释此行） Red="\e[1;31m ......
使用Slurm集群进行分布式图计算：对Github网络影响力的系统分析
本文在华为云弹性云服务器集群中部署Slurm作业调度系统，并运行针对Github协作网络影响力分析的分布式图计算应用程序。 ......
聊聊部署在不同K8S集群上的服务如何利用nginx-ingress进行灰度发布
前言 之前有篇文章聊聊如何利用springcloud gateway实现简易版灰度路由,里面的主人公又有一个需求，他们有个服务是没经过网关的，而是直接通过nginx-ingress暴露出去，现在这个服务也想做灰度，他知道在同个集群如何利用nginx-ingress进行灰度发布，但是现在这个服务是部署 ......