集群vmware hdfs
Vmware 安装 Windows11 的一些注意事项
1 概述 在使用 Vmware 进行安装 Windows11 操作系统时，发现没有安装 Windows 其他版本那么顺利，本文记录一下安装过程中的几个坑。 2 详情 1）Vmware 的访问控制默认是不加密的，安装 Windows11 时，必须为其设置密码进行加密，设置的这个密码需要记住，以后再进入 ......
k8s集群部署nginx服务以及外网访问nginx服务
1、查看k8s进群状态 [root@k8s-master test]# kubectl get node NAME STATUS ROLES AGE VERSION k8s-master Ready master 16d v1.15.1 k8s-node1 Ready <none> 16d v1.1 ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
Linux：配置VMware17开机自启某个虚拟机
1. 创建启动脚本 在C盘创建restart文件夹 进入文件夹并创建 vmware_restart.bat 文件 文件内容如下 d: ## vmware.exe的目录 cd "D:\VMware Workstation\" ## 如果你的路径包含中文，需要下面这行，支持UTF中文显示 chcp 65 ......
MySQL集群搭建，你会吗
对于目前的应用来说，一般很少使用单机MySQL服务，都会采用主从复制或集群方式，那么如何搭建呢？ 1.集群 1.1概述 所谓集群，就是多台服务器之间共享数据，从而实现系统的高可用。节点之间的数据是实时同步的，采用的是同步复制机制。除了有多个主节点外，这些主节点还有多个从节点，当在主节点上进行写操作时 ......
Docker中创建ES集群并修改默认用户密码-sunziren
注1，本文参考了https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html注2，本文这种搭建的方式，适用于开发环境，不适用与生产环境，生产环境要用Docker搭建ES集群，请使用docker-compose命 ......
Hadoop API 通过租户代理访问 Kerberos 安全 Hadoop 集群
这里记录一些方法，具备下面的特征：
* 通过租户代理访问 Kerberos 认证的 HADOOP 资源
* 获取 FileSystem 对象的技巧：FileSystem.get(URI, configuration)
* 通用 doAs模板
* 通用 hdfsCommand模板，使用 try-wit... ......
docker 一键搭建 MySQL 主从集群
分享一个 GitHub 项目，用来一键搭建 MySQL 的主从集群的： https://github.com/vbabak/docker-mysql-master-slave 前面Google了一下没找到，搜出来的都是需要自己手动调操作过的，本来想自己写一个的，让 GPT 取了个名字，结果一搜就搜到 ......
12.kafka单集群安装部署
一.安装jdk ，kafka需要至少jdk8+ 1.安装jdk yum install java-11-openjdk.x86_64 -y 2.查看安装是否正常 [root@localhost bin]# java --version openjdk 11.0.21 2023-10-17 LTS O ......
MySQL Shell如何接管手动搭建（含仲裁节点）MGR集群
MySQL Shell如何接管手动搭建（含仲裁节点）MGR集群 本文源自GreatSQL社区用户的一次提问： Q：一个包含仲裁节点（ARBITRATOR）的GreatSQL MGR集群，一开始是用手动方式构建，后来想用MySQL Shell接管，可以吗？ A：是可以的，不过也有一定局限性 具体的操作 ......
TKE在Kubernetes集群原地无损大版本升级的一些探索
如何在不重建容器不中断服务的情况下升级Kubernetes集群大版本，一些探索，方案实现于2021年9月 该功能已上线一段时间，因为一些原因文章迟迟没有发布，升级肯定会有还没有触及到的未知问题，该方案也不是十全十美，但目前上线后也基本平稳，能够处理大部分情况，把自己在这方面的思路和方案的迭代发出来， ......
分布式系统HDFS
1、完全分布式搭建 hadoop102[namenode,datanode],hadoop103[datanode], hadoop104[secondarynamenode,datanode] 缺少104,配置104 选择完全克隆103 机器的名称 hadoop104 配置机器的IP 192.16 ......
Nacos集群配置
docker run -itd \ -e MODE=cluster \ -e NACOS_APPLICATION_PORT=8860 \ -e NACOS_SERVERS=10.200.1.xx:8860,10.200.1.xx:8870,10.200.1.xx:8880 \ -e SPRING_D ......
VMWARE虚拟机的CPU分配（VMWARE14）：处理器数量、核心数量分配验证
最近搞了个12核24线程的服务器CPU，加上华南金牌的主板，配了64G的内存，有点飘。然后用VMWARE14建了好几个虚拟机，多开耍耍。然后CPU的分配成了一个问题，因此上网查了下，有两种说法： 方案1：有说虚拟机处理器设置页面的“处理器数量”指的是“核心数”，“每个处理器的内核数量”是超线程数量。 ......
详解Redis三大集群模式，轻松实现高可用！
原文：https://zhuanlan.zhihu.com/p/624144774?utm_id=0 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高 ......
五、搭建高可用集群
一、zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.5.7.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7 export ......
C++聊天集群服务器4
一、客户端异常退出处理 在chatserviec层增加一个客户端异常退出的处理函数： 因为要保证userConnMap的线程安全，因此在这里用一个智能锁来处理，在作用域结束后会自动释放资源。然后，更新数据库里的在线状态，由online修改为offline，测试效果如图： 登录成功： ......
二、HDFS的读写流程
一、写数据（宏观） 写数据就是将客户端上的数据上传到HDFS 1.客户端向HDFS发送写数据请求 hdfs dfs -put students.txt /shujia/ 2. Filesystem通过rpc调用namenode的put方法 a. nn首先检查是否有足够的空间权限等条件创建这个文件,或 ......
# 在Windows中使用VMware安装Linux
## 简介 在计算机专业的学习过程中，熟练掌握不同操作系统是至关重要的一部分。本篇博客将介绍如何在Windows操作系统上使用虚拟机软件VMware来安装Linux系统。 ## 准备工作 在开始之前，确保你已经完成以下准备工作： - **VMware安装：** 从官方网站[https://www.v ......
二、Hadoop集群搭建与学习
Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc ......
vmware安装指南
一、简介 VMware是一款知名的虚拟化软件，它可以在一台物理计算机上虚拟出多个操作系统，如Windows、Linux、macOS等。通过VMware，我们可以方便地在同一台计算机上运行多个操作系统，并且可以在不同的操作系统之间轻松切换。本篇文章将指导您完成VMware虚拟机的安装过程。 二、安装步 ......
常用的hdfs操作
今天完成了常用的hdfs操作，其中遇到了一个是在刚开始的时候上传文件操作，老是不成功，具体原因后来发现是防火墙没有关闭 采用Hadoop dfsadmin -safemode leave把防火墙关闭就行。 除此之外，在hadoop的web界面上直接暴力上传文件要是防火墙没关闭的话也是上传不成功的，而 ......
中间件：Redis-x64-5.0.14.1高可用集群-哨兵(Sentinel)模式（Win10）
原文：https://blog.csdn.net/chenyang_wei/article/details/127846656 在 Redis 主从复制模式中，因为系统不具备自动恢复的功能，所以当主服务器（master）宕机后，需要手动把一台从服务器（slave）切换为主服务器。在这个过程中，不仅需 ......
kubernetes集群使用容器镜像仓库Harbor
1、容器镜像仓库Harbor部署 在docker主机部署Harbor，安装过程比较简单 在k8s集群中部署Harbor 2、使用Harbor仓库 2.1 通过secret使用Harbor仓库 新建私有仓库 集权所有节点配置harbor仓库 # cat /etc/docker/daemon.json ......
Linux部署Redis哨兵集群 一主两从三哨兵
目录一、哨兵集群架构介绍二、下载安装Redis2.1、选择需要安装的Redis版本2.2、下载并解压Redis2.3、编译安装Redis三、搭建Redis一主两从集群3.1、准备配置文件3.1.1、准备主节点6379配置文件3.1.2、准备从节点6380配置文件3.1.3、准备从节点6381配置文件 ......
C++聊天集群服务器3
这部分的主要业务逻辑是网络层获取到json文件解析后，调用注册好的登录事件回调函数login，然后获取id和密码，通过查询是否在数据库里判断下一步业务，然后更新其在数据库里的在线在线状态，处理错误。因此，需要在对user表操作的类添加查询以及更新函数。 一、用户登录代码 将chatservi ......
关于es中集群，节点，分片和副本的理解
集群 页面中每一个对象就是一个集群 节点 集群中包含许多es实例，其中一个es实例就是一个节点 节点也分许多功能 分片和副本 该例子中分片数为9，副本数为1 数据节点就是Node 注意：a和b是同样的数据，a为主分片，b为副本分片，但是同样的数据不能放在相同的节点上面，为了防止某个节点瘫痪导致主节点 ......
更新 Kubernetes 集群中 Argo CD 的服务类型为 NodePort失败
这个问题是我再做项目的时候要开区argoCD时并链接时端口开区不了 kubectl patch svc argocd-server -n argocd -p '{"spec": {"type": "NodePort"}}' service/argocd-server patched (no chan ......
Nacos安装部署（单机、集群）
一、前言 （一）、nacos支持三种部署 单机模式 - 用于测试和单机试用。 集群模式 - 用于生产环境，确保高可用。 多集群模式 - 用于多数据中心场景。 （二）、官网地址 https://nacos.io/zh-cn/ 1.点击进入nacos版本及源码下载网页 2.根据圈中进行nacos版本选择 ......