集群
RocketMQ4.9.5集群部署
## RocketMQ集群部署 - 背景： 生产环境单机的MQ不具有高可用，所以我们应该部署成集群模式，这里给大家部署一个**双主双从异步复制的Broker集群** ### 一、单机部署、部署前提参考 ```sh https://www.cnblogs.com/hsyw/p/17428530.htm ......
HA高可用集群部署
#HA高可用集群部署 ## 高可用 ZooKeeper 集群部署 ### zookeeper安装部署 注意：需要安装jdk，但jdk已经在第4章装过，这里直接装zookeeper ````bash #解压并安装zookeeper [root@master ~]# ls anaconda-ks.cfg ......
docker部署nacos集群
1. 环境准备 准备4台服务器，一台安装nginx和mysql 另三台做集群使用 IP 服务 操作系统 192.168.3.215 Nginx/Mysql CentOS 7.9 192.168.3.216 Nacos-1 CentOS 7.9 192.168.3.217 Nacos-2 CentOS ......
本地spark通过spark集群连接hive
最近在学习spark，上周将spark集群搭建起来了，今天在idea中创建了一个测试程序读取hive库中的数据，程序很简单，但是踩到一些坑，卡了四五个小时，做个记录。 搭建Spark集群比较简单： 1、安装scala，scala版本要和spark使用的scala版本一致（因为这个问题卡了五六个小时） ......
MySQL 8.0 主从集群部署
1、环境 服务器名称 IP地址 备注 db-161-131 10.32.161.131 主 db-161-132 10.32.161.132 从 2、MySQL安装 参考：https://www.cnblogs.com/a120608yby/p/17164694.html 3、修改配置并重启服务 # ......
K8S单Master集群安装（Docker）
原创文档编写不易，未经许可请勿转载。文档中有疑问的可以邮件联系我。 邮箱：yinwanit@163.com 文章基于CentOS 7.8系统使用docker作为容器运行时通过kubeadm指导搭建k8s单机master集群，使用calico作为k8s集群的网络插件。 需要服务器可以联网。 环境 节点 ......
elasticsearch-7.12.1集群设置账号密码（亲测可用）
ES7.7以后的版本将安全认证功能免费开放了。并将X-pack插件集成了到了开源的ElasticSearch版本中。 1. 在集群的“主节点”上生成证书 切换到elastsearch的目录下，使用下列命令生成证书 bin/elasticsearch-certutil cert -out config ......
在 Kubernetes 上部署 RadonDB MySQL 集群
1.mysql部署 部署参考文档：https://radondb.com/docs/mysql/v2.2.0/installation/on_kubernetes/#content 参数：https://github.com/radondb/radondb-mysql-kubernetes/blob ......
etcd集群创建+ssl证书
创建步骤： 1. 下载PKI证书管理工具 wget -O cfssl https://github.com/cloudflare/cfssl/releases/download/v1.6.3/cfssl_1.6.3_linux_amd64 && chmod +x cfssl && mv cfssl ......
记坑-Redis集群模式使用Lua脚本的限制
有一种无奈叫测试环境好好的，一到线上就热烈的马，各种问题原形毕露 ##问题复现： ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS array ......
关于ServiceAccount以及在集群内访问K8S API
# 写在开篇 在之前的两篇文章中提到，有4种方式使用 ConfigMap 配置 Pod 中的容器，关于之前的两篇可参考： * [《一文了解K8S的ConfigMap》](https://mp.weixin.qq.com/s?__biz=MzUzMTkyODc4NQ==\&mid=2247486514 ......
docker部署ceph集群
## 1. 创建Ceph专用网络 ``` sudo docker network create --driver bridge --subnet 172.20.0.0/16 ceph-network ``` ## 2. 拉取搭建用镜像 ``` sudo docker pull ceph/daemon ......
redis学习4集群--黑马
# 主从复制 将master中的数据有效的复制到slave中 master + 写数据 + 执行写操作时，将出现变化的数据自动同步到slave + 读数据（可忽略） slave + 读数据 + 写数据（禁止） ## 主从连接(slave连接master) + 方式一：客户端发送命令 slaveof ......
集群、服务、微服务、分布式
先说集群： 可以理解为一批部署了相同服务的机器，这些机器的集合就是集群。 为啥要使用集群部署，因为当一款应用或软件使用人数越来越多，流量越来越大的时候，单台机器的资源已经无法满足使用需求，这时候就要加机器，现在硬件很便宜，集群的数量可以很庞大，他们之前相互配合工作，就能处理大量的用户请求，当然这中间 ......
Linux下Elasticsearch集群搭建
在每台服务器上安装ES，此处略过，如需要请查看过往文章。 集群的搭建主要是修改每个节点的配置文件（elastic search.yml） # 集群名称 cluster.name: veolia-es-cluster # 节点名称 node.name: es02 # 是否作为主节点（每个节点都配置tr ......
mongo 搭建shard集群
本文基于MongoDB 4.0介绍如何搭建shard集群服务，环境如下表所示： 1、创建相关目录 在三个节点分别创建以下目录： [root@hdp06 ~]# mkdir -p /data/mongo/{config,router,shard} [root@hdp06 ~]# mkdir -p /d ......
Redis集群搭建（三组三从）
# Redis集群搭建  ## 1 角色规划 | 角色 | ip | 端口 | | | | | | Master1 ......
hadoop集群搭建后，启动集群后网络畅通，却无法访问web页面的解决办法
# hadoop集群搭建后，启动集群后网络畅通，却无法访问web页面的解决办法 > 问题引入：在学习hadoop搭建完全分布式集群时，已经集群配置了4个核心文件，并且启动所有相关进程，在使用jps命令检查进程，该集群启动完整正常，但是无法访问hdfsweb页面和yarnweb页面，我尝试了ping通 ......
docker部署分布式minio集群文件服务器
1. 环境准备 准备4台服务器，3台服务器做minio集群，一台服务器做minio的nginx 入口服务器 IP 服务 操作系统 192.168.0.165 Minio-Nginx CentOS 7.9 192.168.0.109 Minio-1 CentOS 7.9 192.168.0.114 M ......
rocky Elasticsearch 8.7.1集群 x-spack 安全验证 及 集群内部TLS加密传输 （ca）
目录 简介 环境准备 安装 配置 hostname 解析 安装 systemd 脚本 ca证书 配置 给所有 ES 配置相同的用户密码 启动查看 简介 常规部署 Elasticsearch 集群时，不管是集群之间的数据传输，或者是 Client 访问Elasticsearch 集群时 均不需要相关验 ......
搭建zookeeper集群
注意：zookeeper依赖java环境1.部署的服务器ip地址 172.16.0.151 172.16.0.173 172.16.0.220 2.zookeeper版本 wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7. ......
Redis安装,主从复制、哨兵模式、集群
浅浅的记录下Redis安装、主从、哨兵、集群。搭建笔记 一.Redis下载安装 系统环境 redis版本：7.0.11 linux版本：CentOS Linux release 8.2.2004 (Core) 官网下载地址：https://redis.io/download/ 一些安装命令，按照步骤 ......
HIVE跨集群迁移
查看mysql使用端口 ps -ef | grep mysql ss -antp | grep [ps查出来的pid] 停止HIVE写入服务 创建备份路径 mkdir -p /root/hivebackup/ 执行备份数据库命令：(在目标集群执行) mysqldump -uroot -pPasswo ......
关于Kubernetes-k8s集群在任意nodes节点上执行kubectl和kubadm命令的方法
在Kubernetes-k8s集群中，一般只有在master 才能执行 kubectl和kubadm 相关的命令 如果到worker nodes 节点上执行，则会有如下报错： [root@k8s-node1 qq-5201351]# kubectl get nodes,po -A The conne ......
KingbaseES V8R3 集群运维系列 -- failover切换后集群自动恢复
案例说明： KingbaseES V8R3集群默认在触发failover切换后，为保证数据安全，原主库需要通过人工介入后，恢复为新的备库加入到集群。在无人值守的现场环境，需要在触发failover切换后，主库可以自动恢复为新备考加入集群，提升架构的高可用性。 适用版本： KingbaseES V ......
KingbaseES V8R6 集群运维案例--麒麟系统bug导致sys_monitor.sh无法启动集群
案例说明： 麒麟信安操作系统，在部署了KingbaseES V8R6集群后，sys_monitor.sh在启动集群时，启动数据库服务失败，导致集群无法正常启动。后连接现场分析发现，此环境只要通过ssh或sys_securecmd工具远程启动数据库服务都会失败。操作系统版本如下： 适用版本： King ......
KingbaseES V8R3 集群运维系列 -- sync_flag参数配置
案例说明： 在KingbaseES V8R3集群一主二备的架构中，配置了流复制为同步（sync）模式，但是集群启动后，流复制状态中显示备库是async模式（备库和主库数据已经同步），从备库的recovery.log日志也可以看到，备库启动后被复制模式设置为async模式。如下图备库recover ......
KingbaseES V8R6 集群运维案例--备库timeline not contain minimum recovery point故障
案例现象： KingbaseES V8R6集群备库启动后，加入集群失败，sys_log日志信息提示，如下图所示： 适用版本： kingbaseES V8R6 一、问题分析 在timeline对应的history文件中会记录每次timeline切换时所对应的lsn，如下图所示，在sys_wal目录 ......
KingbaseES V8R3集群运维案例之---message length (8) in slot 1 does not match with slot 0(12)故障
案例说明： 在KingbaseES V8R3集群在连接kingbasecluster服务（9999端口）时，出现“message length (8) in slot 1 does not match with slot 0(12)”故障，通过复现，获取故障发生的原因。故障信息如下图所示： 适用版本 ......
PostgreSQL-HA 高可用集群在 Rainbond 上的部署方案
PostgreSQL 是一种流行的开源关系型数据库管理系统。它提供了标准的SQL语言接口用于操作数据库。 repmgr 是一个用于 PostgreSQL 数据库复制管理的开源工具。它提供了自动化的复制管理，包括： 故障检测和自动故障切换：repmgr 可以检测到主服务器故障并自动切换到备用服务器。 ......