集群leader kafka
3大方面升级华为云CCE集群体验，助力集群高效运维管理
我们会持续在“过程业务无感”、“稳定高效升级”、“丝滑交互体验”等方面进行持续优化，让集群升级过程更简单、高效和可靠。 ......
kafka启动报错
一、kafka启动报错： java.nio.file.FileSystemException: D:\kafka_2.12-2.1.0\kafka_2.12-2.1.0\logs\__consumer_offsets-30\00000000000000000000.timeindex.cleaned ......
docker 部署 rabbitmq集群
rabbitmq集群: pull: docker pull rabbitmq 普通模式(默认): what: 集群中各节点有相同的队列结构， 但消息只会存在于集群中的一个节点。 对于消费者来说， 若消息进入 A 节点的 Queue 中， 当从 B 节点拉取时， RabbitMQ 会将消息从 A 中取 ......
大数据集群备份
今天又备份了虚拟机集群。然后删除D盘的大数据，备份的放在F盘，让D盘有更多空间， 因为我的Anaconda安装在D盘中，而我创建了很多python虚拟环境，D盘当时有点空间不够了， 所以备份大数据到F盘。D可以更多空间。 ......
【kafka】Kafka压力测试
kafka 自带的压测工具 kafka-producer-perf-test.sh 和 kafka-consumer-perf-test.sh ./bin/kafka-producer-perf-test.sh --topic kafka-test --num-records 10000 --rec ......
xixa oraclelinux上kafka集群部署(一)----kafka安装
kafka部署前提：需要安装jdk1.7以上版本、zookeeper 官网下载：http://kafka.apache.org/quickstart kafka配置 配置server.properties文件中zookeeper配置，如果集群应该怎么配置？还需要尝试 配置kafka集群 在bin目录 ......
以 Kubernetes 原生方式实现多集群告警
作者：向军涛、雷万钧 来源：2023 上海 KubeCon 分享 可观测性来源 在 Kubernetes 集群上，各个维度的可观测性数据，可以让我们及时了解集群上应用的状态，以及集群本身的状态。 Metrics 指标：监控对象状态的量化信息，通常会以时序数据的形式采集和存储。 Events：这里特指 ......
使用rancher rke快速安装k8s集群
概述 Rancher Kubernetes Engine（RKE）是一个用于部署、管理和运行Kubernetes集群的开源工具。旨在简化Kubernetes集群的部署和操作。 RKE具有以下特点和功能： 简化的部署过程 RKE提供了一个简单的命令行界面，使您可以轻松地部署一个完整的Kubernete ......
Kafka JNDI 注入分析（CVE-2023-25194）
Apache Kafka 是一个分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。Kafka Connect 是一种用于在 kafka 和其他系统之间可扩展、可靠的流式传输数据的工具。攻击者可以利用基于 SASL JAAS 配置和 SASL 协议的任意 Kafka 客户端，对 Kafka ... ......
Kafka入门
Kafka 定义 Kafka是一个分布式的流处理平台，它具有以下特性： 磁盘保存数据 伸缩性 术语 生产者 生产者是消息的创造者，可以指定 Topic,Partion,Key,Value，并将消息发送到Kafka集群中的Broker。 消费者 消费者负责从Kafka集群中读取消息。 需要设置偏移量 ......
Kubernetes常用命令及yml文件、集群网络 Kubernetes组件介绍及环境搭建
Kubernetes常用命令及yml文件、集群网络 Kubernetes组件介绍及环境搭建 Kubernetes组件介绍及环境搭建 一、kubernetes常用命令 说明：因为k8s的命令都是通过kubectl组件接收的，这个组件只在master节点有，所以k8s的命令都是在master节点中执行 ......
Oracle集群RAC DG日常检查指令
目录操作系统进程检查Pmon检查负载检查数据库检查查看数据库打开状态和相关信息查找主库判断集群正常与否判断会话等待查看连接数 并与数据库配置对比判断集群和DG状态RACDG 操作系统进程检查 Pmon检查 pmon（Process Monitor process）用于监控其他后台进程。负责在连接出现 ......
Introducing the core concepts of Kafka
Introduction I have learnt the kafka since 5 years, I believe I learnd somthing, It is on time for improving english. So I decided to pick up my blogs ......
ELK集群搭建-zabbix整合告警
ELK集群部署（三）ELK 是 elastic 公司旗下三款产品ElasticSearch、Logstash、Kibana的首字母组合，也即Elastic Stack包含ElasticSearch、Logstash、Kibana、Beats。ELK提供了一整套解决方案，并且都是开源软件，之间互相配合 ......
oraclelinux上kafka集群部署(一)----zookeeper安装
安装zookeeper需要先安装jdk，至少1.7以上版本。 下载：https://zookeeper.apache.org/releases.html#download 解压：tar -zvxf apache-zookeeper-3.8.3-bin.tar.gz 配置 进入zookeeper目录下 ......
Spring Kafka: UnknownHostException: 34bcfcc207e0
参考: https://stackoverflow.com/questions/69527813/spring-kafka-unknownhostexception-34bcfcc207e0 我遇到的问题和@Adán Escobar是一样的。 在SpringBoot整合kafka的时候日志报了Spr ......
Redis切片集群
切片集群 多个 Redis 实例组成一个集群，然后按照一定的规则，把收到的数据划分成多份，每一份用一个实例来保存。 Redis Cluster 定义 Redis官方提供的实现切片集群的方案，采用了16384个哈希槽用于处理数据和实例的映射关系。 首先根据key计算哈希槽hash_slot = CRC ......
Linux系统redis集群管理
本章节主要由四部分构成 集群中数据访问：请求重定向(moved)、call命令、Smart客户端 集群扩容：节点配置和启动节点、加入集群、迁移槽和数据 集群缩容：迁移槽和数据、下线节点 迁移相关：平衡（rebalance）slot 集群中的数据访问-重定向(MOVED) 1、首先进入一个客户端（任何 ......
docker-compose部署rocketmq集群
参考博文：https://blog.csdn.net/bacawa/article/details/130521794 1、安装docker-compose 2、通过docker search apache/rocketmq搜索镜像，本来想看一下镜像的版本，但是没有找到对应的命令，最后用了比较粗暴的 ......
Kurator v0.5.0发布，打造统一的多集群备份与存储体验
Kurator 是由华为云推出的开源分布式云原生套件。面向分布式云原生场景，Kurator 旨在为用户提供一站式的解决方案，帮助用户快速构建自己的分布式云原生平台。 ......
kafka配置-代码配置篇
KafkaProducerConfig @Configuration @EnableKafka public class KafkaProducerConfig { /** * Producer Template 配置 */ @Bean(name = "kafkaTemplate") public ......
kafka配置-yml篇
spring: kafka: template: # 当使用 kafkaTemplate 的 sendDefault 方法的时候，使用的是这里配置的 topic defaultTopic: topic-1 # partition-num 和 replication-num KafkaProperti ......
python连接redis集群写入数据
环境; Python:3.6.5 需要安装redis-py-cluster模块 #!/usr/bin/env python #coding=utf-8 from rediscluster import RedisCluster startup_nodes = [ {"host": "192.168. ......
基于Docker Desktop搭建Kafka集群并使用Java编程开发
一、引言 前段时间因课业要求使用Docker Desktop 部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。 二、Docker集群构建 安装环境: Windows 10 2.1 启用或关闭wi ......
zookeeper源码(04)leader选举流程
在"zookeeper源码(03)集群启动流程"中介绍了leader选举的入口，本文将详细分析leader选举组件和流程。 leader选举流程(重要) quorumPeer的start阶段使用startLeaderElection()方法启动选举 LOOKING状态，投自己一票 createEle ......
容器化-Docker集群
笔记 课程专题：微服务容器化 四、容器化-Docker集群 1、Docker集群理解 docker集群：多个docker实例组成的集合 1、保证docker高可用 2、解决项目高性能和高可用 docker集群搭建前提 docker集群内部概念 1、worker 工作者 运行项目 2、manager ......
Python Kafka客户端confluent-kafka学习总结
实践环境 Python 3.6.2 confluent-kafka 2.2.0 confluent-kafka简介 Confluent在GitHub上开发和维护的confluent-kafka-python，Apache Kafka®的一个python客户端，提供了一个与所有brokers>=v0. ......
kafka常见报错
ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator [] -[Consumer clientID=consumer-1,groupID=7f92057408079$94BEXWEC] Offset commit ......
1206-1303 Kubernetes集群的备份和还原 优化 Kubernetes全链路监控 12.6-13.3
一、Kubernetes集群的备份和还原 1.1 获取etcdctl二进制文件 查看etcd版本号 # kubectl -n kube-system exec -it $(kubectl get po -n kube-system |grep etcd- |head -1|awk '{print $ ......