集群hdfs-ha hdfs ha
StackGres 1.6 数据库平台工程集群配置管理(K8S Pods/PostgreSQL/PgBouncer)
Postgres 配置 PostgreSQL 的配置在 SGPostgresConfig CRD 中指定。如果在创建集群时没有指定自定义配置，StackGres 将创建一个默认配置，您可以在 这里 看到。 https://stackgres.io/doc/latest/reference/crd/s ......
使用 anasible 搭建一个多 master 多 worker 的 k8s 集群
kubernetes + istio 是目前最强大，也是最易于使用的服务网格方案。 要使用kubernetes + istio, 首先要搭建 kubernets 集群。搭建kubernetes 集群的 方式有很多，其中使用anisble自动化搭建kubernetes集群算是最具合适的方案了。 服务器 ......
Hadoop集群部署后相关WEB界面打不开大概原因
集群部署完毕后，查看相关WEB界面，打不开的原因可能如下： 1、可以先去检查LINUX（CentOS7）机器的防火墙是否关闭，命令如下： systemctl status firewalld.service （查看防火墙状态） (如果显示为关闭状态，则进行下一步； 如果显示尚未关闭，则进行关闭并设定 ......
Redis哨兵、复制、集群的设计原理与区别
本篇主要谈Redis的高可用 谈到Redis服务器的高可用，如何保证备份的机器是原始服务器的完整备份呢? 这时候就需要哨兵和复制 1.哨兵(Sentinel): 可以管理多个Redis服务器，它提供了监控，提醒以及自动的故转移的功能 2.复制(Replication): 则是负责让一个Redis服务 ......
使用极限网关助力 ES 集群无缝升级、迁移上/下云
在工作中大家可能会遇到以下这些场景： 自建 ES 集群需要平滑迁移到 XX 云； 从 XX 云将 ES 集群迁移到自建机房； ES 集群进行跨版本升级，同时保留回退能力； 这些场景往往都还有个共同的需求：迁移过程要保证业务的最小停机时间。 幸运的是，在这三个场景中，我们都能使用极限网关来帮助我们进行 ......
redis集群压测报错Error from server: MOVED
## redis集群压测报错Error from server: MOVED ## 故障描述 redis7集群压测报错 ```sh Summary: throughput summary: 31250.00 requests per second latency summary (msec): av ......
INFINI Labs 产品更新 | 修复 Easysearch 跨集群复制索引同步问题，Gateway 内存异常增长等问题
INFINI Labs 产品又更新啦~，本次更新主要对 Easysearch、Gateway、Console、Agent 等产品功能进行优化和相关 Bug 修复，解决了内存异常增长等问题，以下是详细说明。 INFINI Easysearch v1.6.2 INFINI Easysearch 是一个分 ......
C++聊天集群服务器5
一、服务器异常处理函数 这部分主要处理服务器异常退出时，用户的在线状态还是online不会改变，因此需要修改。由于是需要对用户进行操作，因此我们在user表的数据操作类添加重置用户状态函数。 在usermodel.hpp添加后： #ifndef USERMODEL_ #define USER ......
k8s集群部署nginx服务以及外网访问nginx服务
1、查看k8s进群状态 [root@k8s-master test]# kubectl get node NAME STATUS ROLES AGE VERSION k8s-master Ready master 16d v1.15.1 k8s-node1 Ready <none> 16d v1.1 ......
hadoop高可用集群集成hive
hive和hadoop的关系 从上图可以看出实际上外界是通过thrift server这个节点和hadoop的hdfs以及rm进行交互的，中间为driver 因此当我修改完hadoop集群为高可用的时候，hive也需要重新配置环境以下是我hive的全新配置 <configuration> <!-- ......
MySQL集群搭建，你会吗
对于目前的应用来说，一般很少使用单机MySQL服务，都会采用主从复制或集群方式，那么如何搭建呢？ 1.集群 1.1概述 所谓集群，就是多台服务器之间共享数据，从而实现系统的高可用。节点之间的数据是实时同步的，采用的是同步复制机制。除了有多个主节点外，这些主节点还有多个从节点，当在主节点上进行写操作时 ......
Docker中创建ES集群并修改默认用户密码-sunziren
注1，本文参考了https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html注2，本文这种搭建的方式，适用于开发环境，不适用与生产环境，生产环境要用Docker搭建ES集群，请使用docker-compose命 ......
Hadoop API 通过租户代理访问 Kerberos 安全 Hadoop 集群
这里记录一些方法，具备下面的特征：
* 通过租户代理访问 Kerberos 认证的 HADOOP 资源
* 获取 FileSystem 对象的技巧：FileSystem.get(URI, configuration)
* 通用 doAs模板
* 通用 hdfsCommand模板，使用 try-wit... ......
docker 一键搭建 MySQL 主从集群
分享一个 GitHub 项目，用来一键搭建 MySQL 的主从集群的： https://github.com/vbabak/docker-mysql-master-slave 前面Google了一下没找到，搜出来的都是需要自己手动调操作过的，本来想自己写一个的，让 GPT 取了个名字，结果一搜就搜到 ......
12.kafka单集群安装部署
一.安装jdk ，kafka需要至少jdk8+ 1.安装jdk yum install java-11-openjdk.x86_64 -y 2.查看安装是否正常 [root@localhost bin]# java --version openjdk 11.0.21 2023-10-17 LTS O ......
MySQL Shell如何接管手动搭建（含仲裁节点）MGR集群
MySQL Shell如何接管手动搭建（含仲裁节点）MGR集群 本文源自GreatSQL社区用户的一次提问： Q：一个包含仲裁节点（ARBITRATOR）的GreatSQL MGR集群，一开始是用手动方式构建，后来想用MySQL Shell接管，可以吗？ A：是可以的，不过也有一定局限性 具体的操作 ......
TKE在Kubernetes集群原地无损大版本升级的一些探索
如何在不重建容器不中断服务的情况下升级Kubernetes集群大版本，一些探索，方案实现于2021年9月 该功能已上线一段时间，因为一些原因文章迟迟没有发布，升级肯定会有还没有触及到的未知问题，该方案也不是十全十美，但目前上线后也基本平稳，能够处理大部分情况，把自己在这方面的思路和方案的迭代发出来， ......
分布式系统HDFS
1、完全分布式搭建 hadoop102[namenode,datanode],hadoop103[datanode], hadoop104[secondarynamenode,datanode] 缺少104,配置104 选择完全克隆103 机器的名称 hadoop104 配置机器的IP 192.16 ......
Nacos集群配置
docker run -itd \ -e MODE=cluster \ -e NACOS_APPLICATION_PORT=8860 \ -e NACOS_SERVERS=10.200.1.xx:8860,10.200.1.xx:8870,10.200.1.xx:8880 \ -e SPRING_D ......
详解Redis三大集群模式，轻松实现高可用！
原文：https://zhuanlan.zhihu.com/p/624144774?utm_id=0 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高 ......
五、搭建高可用集群
一、zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.5.7.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7 export ......
C++聊天集群服务器4
一、客户端异常退出处理 在chatserviec层增加一个客户端异常退出的处理函数： 因为要保证userConnMap的线程安全，因此在这里用一个智能锁来处理，在作用域结束后会自动释放资源。然后，更新数据库里的在线状态，由online修改为offline，测试效果如图： 登录成功： ......
四、Hadoop-HA 与 Hadoop-federation
一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生 ......
二、HDFS的读写流程
一、写数据（宏观） 写数据就是将客户端上的数据上传到HDFS 1.客户端向HDFS发送写数据请求 hdfs dfs -put students.txt /shujia/ 2. Filesystem通过rpc调用namenode的put方法 a. nn首先检查是否有足够的空间权限等条件创建这个文件,或 ......
二、Hadoop集群搭建与学习
Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc ......
常用的hdfs操作
今天完成了常用的hdfs操作，其中遇到了一个是在刚开始的时候上传文件操作，老是不成功，具体原因后来发现是防火墙没有关闭 采用Hadoop dfsadmin -safemode leave把防火墙关闭就行。 除此之外，在hadoop的web界面上直接暴力上传文件要是防火墙没关闭的话也是上传不成功的，而 ......
中间件：Redis-x64-5.0.14.1高可用集群-哨兵(Sentinel)模式（Win10）
原文：https://blog.csdn.net/chenyang_wei/article/details/127846656 在 Redis 主从复制模式中，因为系统不具备自动恢复的功能，所以当主服务器（master）宕机后，需要手动把一台从服务器（slave）切换为主服务器。在这个过程中，不仅需 ......
kubernetes集群使用容器镜像仓库Harbor
1、容器镜像仓库Harbor部署 在docker主机部署Harbor，安装过程比较简单 在k8s集群中部署Harbor 2、使用Harbor仓库 2.1 通过secret使用Harbor仓库 新建私有仓库 集权所有节点配置harbor仓库 # cat /etc/docker/daemon.json ......
Linux部署Redis哨兵集群 一主两从三哨兵
目录一、哨兵集群架构介绍二、下载安装Redis2.1、选择需要安装的Redis版本2.2、下载并解压Redis2.3、编译安装Redis三、搭建Redis一主两从集群3.1、准备配置文件3.1.1、准备主节点6379配置文件3.1.2、准备从节点6380配置文件3.1.3、准备从节点6381配置文件 ......
C++聊天集群服务器3
这部分的主要业务逻辑是网络层获取到json文件解析后，调用注册好的登录事件回调函数login，然后获取id和密码，通过查询是否在数据库里判断下一步业务，然后更新其在数据库里的在线在线状态，处理错误。因此，需要在对user表操作的类添加查询以及更新函数。 一、用户登录代码 将chatservi ......