集群vmware hdfs
centos7搭建kubernetes-v1.25.1集群（Containerd作为运行时）
集群配置 节点名称内存硬盘处理器内核总数ip master 6GB 40GB 6 192.168.67.166 node1 6GB 40GB 6 192.168.67.167 node2 6GB 40GB 6 192.168.67.168 一、所有节点更改镜像源 curl -o /etc/yum.r ......
elasticsearch安装-集群
下载安装包 国内镜像，速度非常快 https://mirrors.huaweicloud.com/elasticsearch/ https://mirrors.huaweicloud.com/kibana/ wget https://mirrors.huaweicloud.com/elasticse ......
数据库集群主键为什么不用uuid
主键用数字还是UUID？ UUID 是通用唯一识别码的缩写，其目的是让分布式系统中的所有元素，都能有唯一的辨识信息，而不需要通过中央控制端来做辨识信息的指定。在数据库集群中，为了避免每个MySQL各自生成的主键产生重复，所以有人考虑采用UUID方式。 使用UUID的好处 使用UUID，分布式生成主键 ......
DataX vs 腾讯云COS对象存储 -> StarRocks集群
本文将介绍使用DataX读出Cos的Orc文件往StarRocks里面写。 需求: 需要将腾讯云cos上84TB的数据, 同步到StarRocks某个大表。正常每个分区数据量20~30亿，600GB。 工具：DataX插件：hdfsreader、starrockswriter对象存储COS：非融合 ......
HDFS 机架感知
互联网公司的 Hadoop 集群一般都会比较大，几百台服务器会分布在不同的机架上，甚至在不同的机房。出于保证数据安全性和数据传输的高效性的平衡考虑，HDFS希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架和跨机房。同时，NameNode 在分配 Block 的存储位置的时候，会尽可能 ......
配置VMware令主机与虚拟机位于局域网同一网段
1. VMWare版本 2. 宿主机信息 3.虚拟机信息 很顺利，没有遇到问题。 参考：https://blog.csdn.net/weixin_45467056/article/details/112930163 ......
docker swarm 部署一主两从的redis集群
docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
超算集群安装OpenFOAM-LIGGGHTS-CFDEM(普通用户权限-以CSU HPC CentOS7.9为例)
普通用户权限超算集群安装OpenFOAM-LIGGGHTS-CFDEM，由于缺少root权限，无法根据CFDEM官方instruction进行安装。 本文以CSU超算平台为例，利用普通用户权限进行编译安装。文章修正了已有教程中部分问题，特别感谢希望先生与记得小蘋初见教程。 1. 安装必要依赖包 此部 ......
arm架构下，VMware Fusion 13.0.1 安装 windows11 踩的坑
一、提示网络安装出错 虚拟机-设置-选择用于启动虚拟机的设备：硬盘NVMe（之间尝试过启动到bios等操作） 二、提示不满足win11安装条件 1、将cpu设置为4核 2、磁盘设置为100g且为提前分配 3、虚拟机-设置-加密-选择了只有TPM所需的文件已加密并设置密码 4、添加设备，将“可信平台模 ......
Ranther管理K8S集群
什么是Ranther Rancher 是一个 Kubernetes 管理工具，让你能在任何地方和任何提供商上部署和运行集群。 Rancher 可以创建来自 Kubernetes 托管服务提供商的集群，创建节点并安装 Kubernetes，或者导入在任何地方运行的现有 Kubernetes 集群。 R ......
C++聊天集群服务器6
一、客户端开发 代码如下： #include "json.hpp" #include <iostream> #include <thread> #include <string> #include <vector> #include <chrono> #include <ctime> #includ ......
Java实现对Hadoop HDFS的API操作
1.配置Hadoop的Windows客户端 Hadoop 配置Windows 客户端 2.新建Maven项目[略] 3.添加依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependen ......
VMware workstation 17安装虚拟机ubuntu原始镜像.iso注意事项
1 在安装虚拟机向导对话框，命名虚拟机位置： A虚拟机名称： 这里选ubuntu 64位 B位置(L): 该选项要注意：安装时会清除该位置的内容，并且安装完后打开该位置就全部是虚拟机的文件了，跟windows的C盘一样，不能放其他文件了。 我选择的位置时E盘，安装完后，打开E盘，里面很多ubuntu ......
Hadoop HDFS 文件块大小
HDFS中的文件在物理上是分块存储(Block),块的大小可以通过配置参数(dfs.blocksize)来配置，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M. 建议配置为物理机硬盘每秒的读取速度,如机械硬盘则建议为128M，SSD则配置为256M。 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
kubeadm更新k8s集群证书(1.23.14版本)
1、更新证书 [root@k8s-master01 kubernetes-1.23.14-0]# kubeadm certs renew all --config=kubeadm-config.yaml certificate embedded in the kubeconfig file for ......
VMware中虚拟机克隆、拍摄快照、恢复快照
【环境系列】Linux虚拟机(Centos、Ubuntu)、云服务器：https://www.cnblogs.com/uncleyong/p/17874484.html 虚拟机克隆 克隆后，重启网卡 systemctl restart network.service 如果报错，看网卡信息 cat / ......
VMware vCenter Server 7.0 Update 3p 下载 - 集中管理 vSphere 环境
VMware vCenter Server 7.0 Update 3p 下载 - 集中管理 vSphere 环境 请访问原文链接：https://sysin.org/blog/vmware-vcenter-7-u3/，查看最新版。原创作品，转载请保留出处。 作者主页：sysin.org VMware ......
kubeadm续期k8s集群证书
1、备份 mkdir /opt/2023-12-09-k8s-backup cp -a /etc/kubernetes /opt/2023-12-09-k8s-backup cp -a /var/lib/etcd /opt/2023-12-09-k8s-backupcp -a /root/.kube ......
k8s:通过 kubectl 插件 Kubepug 实现集群升级检查(废弃API资源检查)
背景:k8s 的版本迭代很快，虽然主要版本一直没有变化，但是次要版本一直在迭代，2022年一年就发布了三个次要版本，同时不同的次要版本之间 API 资源一直在变化，有新加入的，也有废弃删除的。不同版本的 api 资源版本也有不同，往往不是向下兼容的，比如在低版本中 API 资源版本为 v1beta1 ......
2023最新！VMware17安装centos7保姆级教程
2023最新！VMware17安装centos7保姆级教程 安装的是cenos7，使用的是最新的VMware17 导航 目录2023最新！VMware17安装centos7保姆级教程导航一、虚拟机设置二、虚拟机初次启动配置 一、虚拟机设置 双击启动程序，在主窗口选择 创建新虚拟机 选择 稍后安装操作 ......
VMware Workstation虚拟机的安装
VMware Workstation虚拟机的安装，这个可算是把我搞得头疼，首先就是去网上找下载资源，我记着下了很久很久，下了两个小时左右才安装完成。然而当我觉得安装完成，可以好好地休息的时候，我准备试着打开VMware Workstation，看能否顺利启动时，结果出现了蓝屏重启问题，然后我又重新试 ......
kafka集群双活-数据迁移
一、集群搭建（kafka使用自带的zookeeper） 前提：必须要有java环境 1、下载地址： http://kafka.apache.org/downloads 2、安装目录 /app/kafka tar -zxvf kafka_2.12-3.6.1.tgz 建立数据和日志存储目录 mkdir ......
vmware 安装 window11跳过TPM
HKEY_LOCAL_MACHINE\SYSTEM\Setup 创建一个名为“LabConfig”的项，在“LabConfig”下创建两个32位DWORD值： 键为“BypassTPMCheck”，值为“00000001” 键为“BypassSecureBootCheck”，值为“00000001” ......
xcat批量创建和部署vmware esxi虚机（仅测试esxi）
安装参考xcat docker部署使用,已添加esxi支持 https://www.cnblogs.com/leaus/p/17884674.html 编辑hosts表添加ip和主机名对应 vi /etc/hosts 192.168.1.101 node01 192.168.1.102 node02 ......
VMware17 ubuntu18.04.5安装好后无法访问win11共享文件夹的问题
1 在关闭虚拟机的情况下，点击虚拟机设置，CD/DVD设置 使用ISO镜像文件，并设置好镜像路径。 2 启动虚拟机，此时重新安装VMware tools按钮变成有效状态，点击该按钮，如果虚拟机进入系统后，该按钮会变成无效状态。 3 等待虚拟机自动下载VMware tools，下载后在桌面可以看到VM ......
【VMware vSAN】主机之间网络性能测试，提示“无法运行网络性能测试。请稍后重试。”的处理过程。
vSAN集群监控，有一个主动测试功能，里面可以针对vSAN主机进行虚拟机创建测试、网络性能测试等。 官方解释： 虚拟机创建测试通常需要 20 至 40 秒时间，在超时情况下最长需要 180 秒时间。将为每个主机生成一个虚拟机创建任务和一个删除任务，这些任务将显示在任务控制台中。 网络性能测试旨在评估 ......
redis集群双活-数据迁移
一、redis双活 1、集群搭建 （一主两从） Redis-Sentinel是redis官方推荐的高可用性解决方案，sentinel哨兵是特殊的redis服务，不提供读写服务，主要用来监控redis实例节点，当用redis作master-slave的高可用时，如果master本身宕机，redis本身 ......