集群leader kafka
PostgreSQL高可用集群项目实战之Repmgr
一、风哥PG-DBA培训18：PostgreSQL高可用集群项目实战之Repmgr 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL高可用集群项目实战之Repmgr，学完本课程可以掌握Repmgr运行 ......
PostgreSQL高可用集群项目实战之Patroni
一、风哥PG-DBA培训19：PostgreSQL高可用集群项目实战之Patroni 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL高可用集群项目实战之Patroni，学完本课程可以掌握Patron ......
PostgreSQL集群解决方案与流复制项目实战
一、风哥PG-DBA培训15：PostgreSQL集群解决方案与流复制项目实战 课程目标： 本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQL主从复制与高可用集群阶段之PostgreSQL集群解决方案与流复制项目实战，学完本课程可以掌握PostgreSQL集群 ......
半小时，了解kafka的工作原理
为什么需要消息队列 周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了…… 第二天正常上着班，突然接到 ......
Kubeadm方式搭建K8S集群
Kubeadm方式搭建K8S集群 一、搭建k8s集群（kubeadm方式） kubeadm部署方式介绍 kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具，这个工具能通过两条指令完成一个kubernetes集群的部署： 第一，创建一个master几点 kubeadm ini ......
INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式
INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，添加可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console ......
Docker Swarm + Harbor + Portainer 打造高可用，高伸缩，集群自动化部署，更新。
Docker Swarm是Docker官方自带的容器编排工具，Swarm，Compose，Machine合称Docker三剑客。Docker Swarm对于中小型应用来说，还是比较方便，灵活，当然K8S对于大型项目在各方面有着明显的优势。技术选型需要针对公司实际情况选择，架构往往是一步一步随着业务变 ......
Kafka详解、Kafka集群搭建与使用
Kafka详解、Kafka集群搭建与使用 原创 凉兮 凉兮的运维日记 2023-09-21 16:10 发表于北京 收录于合集 #docker6个 #消息队列1个 一、Kafka详解 1.Kafka是什么 Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的 ......
kafka如何保证消费的顺序性
一个主题有多个分区，只有在一个分区内的消息才有顺序性，我们可以在发送消息时指定对应的分区号或者发送消息时按照相同的业务设置相同的key，通过对应key的hashcode值找到对应的分区，这样就能将消息放入一个分区从而保证消费的顺序性。 ......
Kafka怎么保证消息不丢失和重复消费
（1）生产者发送消息采用异步回调发送，如果发送失败，我们可以通过回调获取消息信息，可以选择记录日志或者重试，同时生产者也可以设置消息重试机制。 （2）采用broker的复制机制保证消息在broker中不丢失：开启生产者消息确认机制为all，这样的话，当生产者发送消息到了分区之后， 不仅仅只在lead ......
k8s-集群搭建
部署目标 在所有节点上安装Docker和kubeadm，kubelet 部署容器网络插件flannel 安装基础软件 1、配置Master和work节点的域名 2、CPU设置为2核 3、下载阿里云的yum源repo文件 curl -o /etc/yum.repos.d/CentOS-Base.rep ......
ElasticSearch集群的搭建
一、集群有什么用 1.1 群集的含义与产生 群集（或称为集群）是由多台主机构成，但对外，只表现为一个整体，只提供一个访问入口（域名或IP），相当于一台大型计算机。互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器开始无法满足负载均衡及高可用的需求，群集因此应 ......
讲清楚 kafka 拉取消息的过程
kafka 是一个高吞吐的消息服务中间件，当然这一切都是有原因的，今天我从 kafka 拉取消息这个场景剖析下 broker 的实现。 问题：kafka consumer 在 poll 的时候传递了一个 timeout 的参数，broker 是怎么处理这个参数的？如果 leader broker 有 ......
如何查看kubeadm搭建出来的集群，admin.conf文件，使用的是哪些用户？
当使用kubeadm工具搭建一个k8s集群之后，会自动的创建一个admin.conf文件。 同时，会建议将这个文件拷贝到$HOME/.kube/config，kubectl会使用这个配置文件来访问k8s集群，也可以说是访问apiserver。 那么，在admin.conf中，到底设置的是哪个用户呢？ ......
数据库集群
一、海量数据存储问题 传统的关系型数据库，因为数据存储量越来越大，已经无法满足快速查询与插入数据的需求。NoSql的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，换取性能的提升。 有的场景要求绝对要有事务与安全指标，这时候NoSql一些折中是无法满足使用场景 ......
kubesphere快速搭建集群
1，资源准备 mkdir -p /opt/kubesphere cd /opt/kubesphere curl -sfL https://get-kk.kubesphere.io | VERSION=v3.1.0-alpha.4 sh - chmod +x kk ./kk create config ......
进击消息中间件系列（一）：Kafka 入门（基本概念与架构）【转】
在这之前，我们相继卷完了：关系型数据库 MySQL 、 NoSQL 数据库 Redis 、 MongoDB 、搜索引擎 ElasticSearch 、大数据 Hadoop框架、PostgreSQL 数据库这些系列的知识体系。今天开始，我们将踏上另一个学习之路：中间件！第一个要学习的中间件就是：Kaf ......
redis cluster三主六从 redis三主三从集群搭建
转自：https://blog.51cto.com/u_16099166/6885197 一、下载安装二、本文架构（三台服务器，每台部署两个节点，主从同步，生产最好是部署六台服务器）： 三、进入redis安装目录，复制redis.conf文件，建立从节点配置文件 1 #进入redis安装目录 2 c ......
redis三主三从哨兵模式 redis三主三从集群
转自：https://blog.51cto.com/u_16213559/7033634 conf 复制/usr/local/src/redis-6.2.6文件夹下redis.conf文件到/usr/local/src/master-slave文件夹中命名为redis6381.conf 1 # 允许 ......
KingbaseES V8R6 集群运维案例 -- 集群备份到nfs共享存储初始化错误
案例说明： 在主备库建立nfs共享存储的文件系统，作为sys_rman备份的repo-path，在备库作为repo-path节点执行备份，出现数据库连接到'5432端口的错误'，数据库实际的服务端口为54321。 适用版本： KingbaseES V8R6 节点信息： [kingbase@node1 ......
KingbaseES V8R6 集群运维系列 -- trusted_server
案例说明： 在KingbaseES V8R3及V8R6早期的版本，对于读写分离的集群如果网关地址无法连通，将会导致整个集群关闭，数据库服务无法访问。在后期版本的改进中，降低了对网关的依赖性，当网关地址不通时，会影响集群的部分高可用功能比如failover切换，但集群可以正常对外提供数据库访问服务。如 ......
KingbaseES V8R6集群运维系列 -- connect_check_type参数
案例说明： 在KingbaseES V8R6C7的版本中，repmgr.conf增加了connect_check_type参数可以指定参数值，默认值是‘mix’，以前版本为隐藏参数，默认值‘ping‘。connect_check_type参数可以配置为： 监控数据库connect_check_typ ......
KingbaseES V8R3 集群运维案例 -- cluster.log无日志输出问题诊断
案例说明： KingbaseES V8R3集群正常运行期间，现场发现cluster.log日志无任何信息输出，针对这一问题做了复现及提出解决方案。后现场检查发现，cluster.log文件曾被删除： 适用版本： KingbaseES V8R3 一、查看集群的服务状态 1、集群节点状态 TEST=# ......
KingbaseES V8R6集群运维案例-- 备库数据库服务意外down分析
案例说明： KingbaseES V8R6一主二备架构的集群，两个备库节点sys_log日志分别不同时间点收到‘fast shutdown request’的日志信息，导致备库数据库服务down，需要对备库数据库服务down的原因进行分析。 集群节点信息： node12：primary node10 ......
详解Redis三大集群模式，轻松实现高可用！
转自：https://zhuanlan.zhihu.com/p/624144774 1. Redis集群简介 1.1 什么是Redis集群 Redis集群是一种通过将多个Redis节点连接在一起以实现高可用性、数据分片和负载均衡的技术。它允许Redis在不同节点上同时提供服务，提高整体性能和可靠性。 ......
浅析 kafka 的 DelayedOperation
在 kafka broker 内部，当执行一些需要等待的任务时（比如 broker 处理 producer 的消息，需要等待消息同步到其他副本），会使用到 DelayedOperationPurgatory 和 DelayedOperation，大致流程如下图： 顶层的类是 DelayedOpera ......
在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群
引入 本文在两台2核2g的云服务器上搭建了Hadoop集群，两台云服务器分别是阿里云（hjm）和腾讯云（gyt），集群部署规划如下： hjm gyt HDFS NameNode\SecondaryNameNode\DataNode DataNode YARN ResourceManager\Node ......
K8s部署Nacos 2.0.3集群模式(外置mysql数据库)
来源：https://www.woniusnail.com/?p=1691 Nacos 具体介绍就不介绍了，详细的官方都有。 本次主要介绍在k8s集群中部署Nacos集群(3节点)，数据库使用外置的 mysql ，相比使用官方的在k8s内创建数据库的方案维护更方便，所有nacos配置 全部保存在数据 ......
KingbaseES V8R6 集群运维案例 -- 脚本部署集群后ssh无法连接
案例说明： 在kylin V10环境下，通过脚本方式部署KingbaseES V8R6集群后，发现ssh无法连接主机，通过分析发现在脚本部署过程中会对系统环境进行优化配置，在修改了/etc/ssh/sshd_config中的usePAM=yes后，导致ssh连接不上。 适用版本： KingbaseE ......
KingbaseES V8R6集群运维案例之---同一主机节点部署多个集群
案例说明： 在同一主机环境，由于生产需要，需要部署两个集群；本案例详细描述了两个集群的部署过程。 注意：同一主机部署多个集群需要先部署securecmdd服务，节点之间通过securecmdd服务通讯。多个集群共享主机的securecmdd服务在节点之间通讯。 适用版本： KingbaseES V8 ......