集群

文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上 ......

1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam ......

一.生成key文件 需要注意集群中所有机器都需要用同一个文件，否则会出现验证失败的情况 # 生成key openssl rand -base64 756 > /data/volume/mongodb/configdb/mongo.key # 设置访问权限 chmod 400 /data/volume ......

1、什么是哨兵模式哨兵模式：可以自动切换解决单点故障，但是不能负载均衡，存储能力受限制。 哨兵核心功能：在主从复制的基础上，实现了主节点的自动故障转移 2、哨兵的作用监控：监控主节点和从节点是否在正常运行 故障自动转移：当主节点不能正常工作时，哨兵会开始自动故障转移操作，它会将失效主节点的其中一个从 ......

4.Redis Cluster　集群模式 如果单机吞吐量过大，我们可以横向和纵向进行扩展，横向就是加节点（scale out），纵向就是加配置（scale up）。 如果加配置，治标不治本，单机局限性和持久化问题无法解决（如轮式RDB快照还是AOF指令） 横向扩展更容易扩展，可以解决很多问题，包括单 ......

写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......

1.1 集群的概念 所谓的集群，就是通过添加服务器的数量，提供相同的服务，从而让服务器达到一个稳定、高效的状态。 1.1.1 使用redis集群的必要性 问题：我们已经部署好了redis，并且能启动一个redis，实现数据的读写，为什么还要学习redis集群？ 答：（1）单个redis存在不稳定性。 ......

1. 概述 本文是总结给予k8s的rabbitmq3.11.11集群的mqtt搭建 rabbitmq集群搭建详见前一篇文章：kubernetes 集群部署rabbimq3.11.11 2. 自动创建mqtt账号密码 wrapper-entrypoint.sh #!/usr/bin/env bash ......

一、redis哨兵 主从切换技术的方法是：当服务器宕机后，需要手动一台从机切换为主机，这需要人工干预，不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点，就有了哨兵机制。 哨兵的核心功能：在主从复制的基础上，哨兵引入了主节点的自动故障转移。 1、哨兵模式原理:哨兵(sentinel ......

Redis6 集群单机安装 官网下载 https://download.redis.io/releases/redis-6.2.6.tar.gz http://download.redis.io/redis-stable.tar.gz 文档参考 https://redis.io/documentat ......

1.1 查看Token过期时间 执行下面命令查看所有Token： kubectl get secret -n kube-system 找到之前创建的new.yaml文件，进去查看使用的Token： [root@k8s-master01 ~]# cat new.yaml apiVersion: kub ......

主从架构存在的问题： 主从之间的同步，是异步完成，也就意味着这是 弱一致性。可能会导致，数据写入主库后，应用程序读取从库获取不到数据，或者可能会丢失数据，对于数据安全性要求比较高的应用是不合适的，该问题可以通过 PXC集群解决。 一、简介 Percona XtraDB Cluster（简称PXC）是 ......

报错信息： 使用命令时： Kubelet服务报错： 报错情况，在更新完k8s100年证书的时候，到最后重新启动kubelet服务的时候，服务是可以重新启动的，但是kubectl的命令是无法使用的，会等好长时间然后报出上面图片第一个的错误。还请各位大佬给出一些解决办法，实在是劳烦各位大佬了，自己找了好 ......

前面那篇文章内容过多，可能小伙伴只是想快速部署，所以这里出了一个极简的部署教程，如果想了解详细部署过程，可以建议参考我上一篇的文章：通过 docker-compose 快速部署 Hadoop 集群详细教程 1）安装 docker # 安装yum-config-manager配置工具 yum -y i ......

今天是清明节假日第一天，收到客户请求，我们的redis出问题了帮忙看看！ 程序的报错日志提供如图 登录该套redis集群查看节点信息与集群状态 根据现场状态与监控，迅速做出判断与推理 第一时间内给出个人的建议：建议重启部分异常程序，业务全部恢复正常！ 业务已经恢复了，那继续来修复这个fail的异常r ......

搭建 zk 3.5.x 版本的集群环境 本次搭建使用 3.5.7 版本的zk。 3.5.x 版本进行集群环境的搭建，本质其实和 3.4.x 是没有太大区别的。 但是 3.5.x 的集群环境支持动态的扩缩容，因此 在配置文件方面，将集群节点的配置单独抽取出来了，存放到一个 zoo.cfg.dynami ......

搭建一主二从 三个节点 zookeeper 集群环境 *** 使用 zk 的 3.4.13 的版本 *** 注意：对于 zk , 3.4 版本和3.5 版本集群环境是有一些区别的。 3.5 版本以后使用的是动态集群模式，支持集群的动态扩缩容。(可以在不重启的情况下，实现集群的扩容，缩容) 本集群搭建 ......

本文所说的“柔性服务”主要是指 consumer 端的负载均衡和 provider 端的限流两个功能。在之前的 Dubbo 版本中，负载均衡部分更多的考虑的是公平性原则，即 consumer 端尽可能平等的从 provider 中作出选择，在某些情况下表现并不够理想。而限流部分只提供了静态的限流方案... ......

上文我们已经实现了mycat集群（https://www.cnblogs.com/zwh0910/p/17278863.html），现在我们来实现mycat集群的负载均衡 在前面架构中，虽然对mycat做了集群，保障了mycat的可靠性，但是，应用程序需要连接到多个mycat，显然不是很友好的，也就 ......

......

前提是：消费者没有指明分区消费。当消费组⾥消费者和分区的关系发⽣变化，那么就会触发rebalance机制。 这个机制会重新调整消费者消费哪个分区。 在触发rebalance机制之前，消费者消费哪个分区有三种策略： 1、range：通过公示来计算某个消费者消费哪个分区2、轮询：⼤家轮着消费3、stic ......

Kafka集群中的broker在zk中创建临时序号节点，序号最⼩的节点（最先创建的节点）将作为集群的controller，负责管理整个集群中的所有分区和副本的状态： 1、当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。 2、当检测到某个分区的ISR集合发⽣变化时 ......

Elasticsearch 学习-Linux 单机和集群安装 3.3linux集群安装 3.3.1 软件下载 软件下载地址：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0 3.3.2 软件安装 ==1) 解压 ......

本文主要介绍在 Tomcat 集群中如何进行 Session 复制，文中所使用到的软件版本：Centos 7.9.2009、Java 1.8.0_321、Tomcat 8.5.87。 1、快速配置 取消 conf/server.xml 文件中的以下注释来启用集群： <Cluster classNam ......

优质博文：IT-BLOG-CN 一、高可用架构 高可用性HA（High Availability）指的是缩短因正常运维或者非预期故障而导致的停机时间，提高系统可用性。 高可用量化衡量标准： 引出一个SLA的概念。SLA是Service Level Agreement(服务等级协议)的缩写。SLA就是 ......

一、概述 docker-compose 项目是docker官方的开源项目， 负责实现对docker容器集群的快速编排，来轻松高效的管理容器，定义运行多个容器。 通过docker-compose来部署应用是非常简单和快捷的。但是因为docker-compose是管理单机的，所以一般通过docker-c ......

环境介绍 操作系统版本 CentOS Linux release 7.8.2003 (Core) 数据库版本 psql (13.10) PCS集群版本 [root@hd-clw-select-proxysql01 ~]# rpm -qa|grep pacemaker pacemaker-libs-1 ......

前面我们是用一个mycat对应两个mysql集群，参考：https://www.cnblogs.com/zwh0910/p/17278041.html 但是在高并发的情况下，我们的系统也会出现性能的问题，显然是mycat，即所有的压力都压倒mycat上面，所以需要给mycat做集群。 mycat做了 ......

如果主库挂了，我们就需要运行一个新主库，比如说把一个从库切换为主库，把它当成主库。 这就涉及到三个问题： 主库真的挂了吗？ 该选择哪个从库作为主库？ 怎么把新主库的相关信息通知给从库和客户端呢？ 这就要提到哨兵机制了。在 Redis 主从集群中，哨兵机制是实现主从库自动切换的关键机制，它有效地解决了 ......

通过官方镜像 RabbitMQ Docker Image 和 rabbitmq-peer-discovery-k8s 插件进行集群部署。 0. 环境 kubernetes 1.24 rabbitmq3.11.11 1.命名空间 将 rabbitmq 的资源都放在 rabbitmq 命名空间内。 Na ......