集群leader kafka
Kafka常用命令
Kafka实操命令 kafka版本：scala2.11，kafka1.1.0 kafka_2.11-1.1.0.jar Kafka命令行操作 1）查看当前服务器中的所有topic kafka-topics.sh --zookeeper hadoop111:2181/kafka --list 2）创建 ......
Linux部署redis集群
环境： redis版本：6.2.1 linux服务器：centos7.6 安装 1、redis需要进行C语言编译环境，安装gcc yun install gcc 2、切换到 /usr/local目录下创建redis目录进入redis目录中进行下载redis-6.2.1.tar.gz cd usr/l ......
java——kafka随笔——broker&主题-topic&分区-partition理解
首先，让我们来看一下基础的消息(Message)相关术语： 名称解释 Broker 消息中间件处理节点，⼀个Kafka节点就是⼀个broker，⼀个或者多个Broker可以组成⼀个Kafka集群 Topic Kafka根据topic对消息进⾏归类，发布到Kafka集群的每条消息都需要指定⼀个topi ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
虚拟机集群ssh配置免密登录
在dn节点机首先安装ssh，没有就执行以下代码 sudo apt-get install openssh-server 然后 cd ~/.ssh 如果没有该路径就执行一次 ssh localhost 然后执行以下代码，删除之前可能生成过的私钥，公钥 rm ./id_rsa* 执行以下代码，然后三次回 ......
haproxy+keepalived部署高可用k8s集群
四台机器 节点名称节点ip节点角色 基础配置 1、升级机器内核 2、将机器ip 名称写入到/etc/hosts中 3、基础环境准备 #关闭防火墙，selinux systemctl stop firewalld systemctl disable firewalld sed -i 's/enforc ......
Kafka反序列化RCE漏洞（CVE-2023-34040）
Spring Kafka 是 Spring Framework 生态系统中的一个模块，用于简化在 Spring 应用程序中集成 Apache Kafka 的过程，记录 (record) 指 Kafka 消息中的一条记录。这一个漏洞所影响的组件其实是 Spring-Kafka，严格意义上来说并不算是 ... ......
记一次GFS集群节点系统重做数据恢复
背景： 比较倒霉，周日晚上服务器硬盘损坏更换后发现数据块损坏，系统无法正常使用只能重做系统，恢复了好多虚拟机，过程无比痛苦，目前只说一说恢复gfs。 思路： 登录gfs master节点查看peer状态，gluster peer status 发现另一个节点处于State: Peer Rejecte ......
Ubuntu 修改主机名和hosts文件并克隆虚拟机初步搭建集群
进入终端输入 sudo vim /etc/hosts 像红框里一样，添加自己虚拟机的主机名称映射 然后终端输入reboot 重启虚拟机 然后操作参考Ubuntu20虚拟机克隆以及克隆后静态IP和主机名的修改_ubuntu克隆后修改ip-CSDN博客 ......
Kafka：消费者的offset
auto.offset.reset latest（默认） 已有一个消费者groupId=ClientConsumer，消费消息到最新位置，然后停止消费。 启动生产者生产一定数量消息，然后停止生产。 接着启动消费者，设置 auto.offset.reset=latest 结果：消费者从上次消费位置接着 ......
分布式存储——ceph集群部署
一、部署结构 以x.x.x.150、x.x.x.151、x.x.x.152三台服务器搭建最基本的三节点ceph集群，服务器系统使用的是centos7版本，IP网段为x.x.x.0/24，三台服务器的名称分别为： ceph001: x.x.x.150，管理节点 ceph002: x.x.x.151，子 ......
nebula-br local-store 模式，快速搭建主备集群实践
单集群如何快速切换多集群模式？目前，NebulaGraph 集群复制有 3 种方式，如何在当中选中一种合适你的方式来搭建集群呢？ ......
关于pacemaker集群stonith:fence_azure_arm资源-SP-服务主机-密码过期的处理方法
在pacemaker中，一般都会创建一个stonith资源（Shoot The Other Node In The Head），笔者因为是在Azure平台、于是使用的为 stonith:fence_azure_arm 最近发现有一个与之关联的服务主体的密码过期了，导致状态异常，通过pcs statu ......
Kafka的部分初始化参数的学习与整理
Kafka的部分初始化参数的学习与整理 背景 前段时间跟同事一起处理过kafka的topic offset的retention 时间与 log 的retention时间不一致. 导致消息还有, 但是offset 没有, 导致重复消费的问题. 发现很多产品其实参数很复杂, 不能只看一个参数就立马进行修 ......
904-907 Prometheus自动发现机制 kube-state-metrics和metrics-server Prometheus监控Kubernetes集群 9.4-9.7
一、Prometheus自动发现机制 服务发现机制：为了实现自动将被监控目标添加到Permethus Prometheus数据源的配置分为静态配置和动态发现，常见为以下几类： static_configs：静态服务发现，即将配置直接写到配置文件或Configmap file_sd_config：文件 ......
Oracle集群升级迁移—Oracle数据库升级12C-19C
目录Oracle集群升级迁移—Oracle数据库升级12C-19C现有架构升级方式 Oracle集群升级迁移—Oracle数据库升级12C-19C 现有架构 现在的架构为一主一备，主备分别做了RAC ，数据库软件和grid infrastructure版本为12c 升级方式 升级方式如下图 ......
kafka可视化管理：Kafka Manager
需求 虽然kafka server有命令行工具管理kafka，但必须登录到kafka server主机上，觉得不是特别方便。 希望在web界面可以管理kafka需求就来了，查到几个管理kafka管理工具，觉得kafka manager还不错。 该管理工具基本上可以满足我的需求： 1）管理kafka ......
Kafka基本原理、生产问题总结及性能优化实践
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流... ......
Flink消费kafka数据同步问题排查
Flink消费kafka数据同步问题排查 https://mp.weixin.qq.com/s/EZbCKHBI_JrsF0yJndhe8Q Flink消费kafka数据同步问题排查 原创 任天兵 哈啰技术 2023-10-31 17:31 发表于上海 我们有一个flink任务，消费的kafka的数 ......
kafka了解多少，遇到哪些故障，怎么解决的？
作为一种分布式消息队列，Kafka 在实际应用中也可能遇到各种故障，下面列举几种常见的情况和解决方案： 1. 节点宕机 当 Kafka 集群中的某个节点宕机时，可能导致数据不一致、数据丢失等问题。解决方案建议使用多副本机制，即在各个节点之间进行数据的同步和复制，保证集群中的节点宕机时，数据不会丢失。 ......
解决集群下mp的雪花id重复问题
雪花算法的核心能影响到id生成的几个因素： 服务器时间 workId（机器 ID 部分） datacenterId（数据标识 ID 部分） 根据源码 public void init(GlobalConfig globalConfig) { // 初始化 Sequence //这里需要同时设置wor ......
Kafka-生产者性能调优
（一）参数调优 参数调优相关代码 在实际的kafka开发中，我们会发现，无论是生产者还是消费者，都需要构建一个Properties对象，里面设置了很多参数。在这段代码中有很多常用的参数配置，在线上使用时，我们要根据实际的数据量和数据大小来决定这些配置的具体值。 Properties props = ......
Kafka-生产者、broker、消费者的调优参数总结
生产环境下，为了尽可能提升Kafka的整体吞吐量，可以对Kafka的相关配置参数进行调整，以达到提升整体性能的目的。 本文主要从Kafka的不同组件出发，讲解各组件涉及的配置参数和参数含义。 一、生产者（producer.properties或者代码中） 1、acks：Producer需要Leade ......
Redis集群模式incr保证原子性的原理
1.主要是redis的key会解析到固定的主机上，比如集群上有host1，host2，host3；然后key1可能会解析后发现是要发到host2上，则在host2正常的情况下（有点像kafka rebalance；consumer处理哪些分区），key1会一直在host2上进行操作； 因此在redi ......
DHorse改用fabric8的SDK与k8s集群交互
现状 在dhorse 1.4.0版本之前，一直使用k8s官方提供的sdk与k8s集群交互，官方sdk的Maven坐标如下： <dependency> <groupId>io.kubernetes</groupId> <artifactId>client-java</artifactId> <vers ......
使用 Sealos 一键部署 Kubernetes 集群
Sealos 是一款以 Kubernetes 为内核的云操作系统发行版，使用户能够像使用个人电脑一样简单地使用云。 与此同时，Sealos 还提供一套强大的工具，可以便利地管理整个 Kubernetes 集群的生命周期。 Sealos 不仅可以一键安装一个单节点的 Kubernetes 开发环境，还 ......
docker 部署redis哨兵模式的集群
创建网络 docker network create --subnet=172.10.0.0/16 redis 创建文件目录 [root@master app]# mkdir -p /app/redis/server/config [root@master app]# mkdir -p /app/r ......
Redis的四种模式：单机、主从、哨兵、集群简介
Redis的单机模式 单机模式就是安装一个redis，启动起来，业务调用即可。具体安装步骤和启动步骤就不赘述了，单机在很多场景也是有使用的，例如在一个并非必须保证高可用的情况下。 单机的优点： 部署简单，0成本。 成本低，没有备用节点，不需要其他的开支。 高性能，单机不需要同步数据，数据天然一致性。 ......
100 个常用 Kubernetes 诊断命令，助你轻松搞定各种 Kubernetes 集群故障
100 个常用 Kubernetes 诊断命令，助你轻松搞定各种 Kubernetes 集群故障 云原生百宝箱 奇妙的Linux世界 2023-10-30 08:13 发表于重庆 收录于合集 #Kubernetes285个 #云计算106个 #Docker208个 #开源474个 公众号关注 「奇妙 ......
Centos7系统二进制安装Kubernetes（v1.20）集群
一、环境准备 参考：https://www.cnblogs.com/Mr-Ding/p/17773745.html 二、部署ETCD集群 2.1、准备cfssl证书生成工具 cd k8s1.20二进制包/ chmod +x cfssl_linux-amd64 cfssljson_linux-amd6 ......