kafka3
kafka3.6单点部署使用
一、kafka基本概念 kafka是一个分布式的，分区的消息(官方称之为commit log)服务。它提供一个消息系统应该具备的功能，但是确有着独特的设计。可以这样来说，Kafka借鉴了JMS规范的思想，但是并没有完全遵循JMS规范。 名称 解释 Broker 消息中间件处理节点，一个Kafka节点 ......
Kafka3.6.0 linux 安装，非zookeeper模式
参考： 安装Kafka3.3.1及kraft运行，告别zookeeper_kafka 3.3.1 jdk 无需zookeeper，kafka3.0版本集群安装实战 操作系统：ubutun18.04LTS 1.下载 到kafka官网下载 2.上传到服务器指定位置 3.解压到指定目录，这里我放到/opt ......
使用Grafana + jmx 监控 kafka3.5 的过程
使用Grafana + jmx 监控 kafka3.5 的过程 摘要 周五一边进行数据库监控, 同时想着部署一套监控系统. 能够监控一下kafka等中间件 结果不想自己遇到了很多坑. 下午有同事语音告诉自己一些排查问题的方式与方法. 自己又多花了半个小时才将数据捞出来. 感觉自己对很多工具的使用还是 ......
kafka3.x 简单使用
*** 保证kafka和zookeeper已经在linux上进行了安装，目录需要改为自己的目录 *** kafka2.8之后引入了kraft机制，不用zookeeper也能启动 参数介绍 --create 创建一个topic --topic [your_topic_name] 创建的topic的信息 ......
【Kafka3.0】生产调优
[toc] ## 1. Kafka 硬件配置选择 ### 场景说明 100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿/24 小时/60 分/60 秒 = 1150 条/每秒钟。 每条日志大小：0.5k - 2k（取 1k）。 1150 ......
【Kafka3.0】消费者Consumer
[toc] ## kafak消费者 ### 消费者总体工作流程 - **kafka消费方式：**consumer采用从broker中主动拉取的方式去消费数据（pull）。为什么不是broker主动推送呢（push），是因为由broker决定发送速率很难适应所有消费者。pull模式的缺点是kafka没 ......
【kafka3.0】生产者producer
[toc] ## kafka生产者 ### 生产者消息发送流程 #### 发送原理 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulat ......
【Kafka3.0】broker、producer、consumer详解
# kafka3.0 [toc] ## 1. 什么是kafka？ - Kafka传 统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。 - Kafka最 新定义 ： Kafka是 一个开源的 分布式事件流平台 （Event Str ......
windows 安装 kafka3.x 以及 cmak 实现可视化
windows 安装 kafka3.x 以及 cmak 实现可视化 # 下载 - kafka [下载地址 https://kafka.apache.org/downloads](https://kafka.apache.org/downloads) - cmak [下载地址 https://gith ......
docker-compose部署kafka3.4.x without zookeeper
创建数据目录 # mkdir -pv /data/apps/kafka/{kafka1_data,kafka2_data,kafka3_data} # chown -R 1001.1001 /data/apps/kafka/kafka* docker-compose.yaml version: "3 ......