kafka
Kafka核心总控制器Controller主要作用
https://www.yisu.com/zixun/586556.html 1 简介 1）更新集群元数据信息 2）创建Topic 3）删除Topic 4）分区重分配 5）preferred leader副本选举 6）Topic分区扩展 7）Broker加入集群 8）Broker崩溃 9）受控关闭 ......
kafka producer生产消息发送到kafka的过程
1 KafkaProducer的几个重要成员变量 1）Partitioner 用来获取消息应该发往哪个分区 private final Partitioner partitioner; 2）ProducerMetadata kafka元数据 private final ProducerMetadat ......
从Kafka中学习高性能系统如何设计
相信各位小伙伴之前或多或少接触过消息队列，比较知名的包含Rocket MQ和Kafka，在京东内部使用的是自研的消息中间件JMQ，从JMQ2升级到JMQ4的也是带来了性能上的明显提升，并且JMQ4的底层也是参考Kafka去做的设计。在这里我会给大家展示Kafka它的高性能是如何设计的，大家也可以学习... ......
Kafka开机自启动
kafka每次关机重启后，都要重新手动启动。那能否让计算机开机后自动启动kafka呢？ 答案：可以 一、Zookeeper开机自启服务# 在 /lib/systemd/system/ 目录创建服务脚本 zookeeper.service ：vim /lib/systemd/system/zookee ......
Kafka参数
参数解释 broker broker.id =1 每一个broker在集群中的唯一标示，要求是正数。在改变IP地址，不改变broker.id的话不会影响consumers log.dirs = /tmp/kafka-logs kafka数据的存放地址，多个地址的话用逗号分割 /tmp/kafka-l ......
kafka
1 kafka及消息队列简介 kafka及消息队列简介 2 kafka单机安装和简单使用 kafka单机安装和简单使用 3 kafka集群搭建 kafka集群搭建 4 kafka常用命令 kafka常用命令 5 kafka术语及架构简介 kafka术语及架构简介 6 kafka高可用 kafka高可 ......
Kafka Monitor
kafka监控方式 kafka监控指标 consumer group join-rate maximum record lag consumer lag 性能测试 kafka-producer-perf-test.sh 用于消费者性能测试的kafka-consumer-perf-test.sh。 ......
kafka 高水位和epoch和partion副本同步
https://blog.csdn.net/jiayi_yao/article/details/124883964 1 简介 在 kafka 中，高水位的作用主要是 2 个 1）定义消息可见性，既用来告诉我们的消费者哪些消息是可以进行消费的； 2）帮助 kafka 完成副本机制的同步。 Kafka ......
kafka常用命令
启动kafkabin/kafka-server-start.sh config/server.properties、 后台启动加参数-daemonbin/kafka-server-start.sh -daemon ../config/server.properties 查看topic信息 cd到ka ......
docker之kafka安装
一、带zookeeper和UI版本 version: '2' services: xbd-zk-1: image: bitnami/zookeeper:3.8.1 restart: always container_name: xbd-zk-1 privileged: true ports: - 2 ......
kafka ack机制
1 kafka基本架构 kafka的partion分为leader和follow。leader参与允许，二follower仅作为备份。 那么，leader和follower之间是怎么同步的呢 2 leader和follower的同步 Partition只有Leader是对外提供读写服务的 也就是说， ......
kafka 开发时生产者和消费者消息顺序的问题
1 简介 在kafka，生产者生产的消息，只会保证一个生产者生产的消息在一个partion里面是有序的。 所以在编程时，若业务对消息的顺序性有更多的要求，那么就需要自己来保证消息的顺序性了。 消费者消费了消息，offset是需要自己来维护的。也就是说需要自己去保障消费的顺序性。 2 生产者顺序的保证 ......
Kafka生产者异步发送消息产生堵塞
问题描述 使用KafkaTemplate作为生产者发送消息时为了不影响主流业务会采用异步发送的方式，如下 public void producerSendFuture(String topic, String data) { logger.info("kafka异步发送topic:" + topic ......
kafka 消息的无状态和消息的零拷贝
1 简介 零拷贝是指将数据直接从磁盘文件复制到网卡，而不需要经由应用之手。 零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换。 对Linux操作系统而言，零拷贝技术依赖于底层的sendfile()方法实现，对于Java语言，FileChannel.transferTo()方法的底 ......
如何部署Kafka应用
如何部署Kafka应用 原创 Summer Stone 测试DAO 2023-06-12 23:30 发表于江苏 收录于合集#Kafka4个 本地部署Kafka应用步骤如下： 安装Java 确保你的 本地系统(macOS，Windows)上已经安装了 Java 开发工具包（JDK）。Kafka 是用 ......
【Azure 事件中心】Kafka 生产者发送消息失败的分析步骤
问题描述 Azure Event Hubs -- Kafka 生产者发送消息存在延迟接收和丢失问题， 在客户端的日志中发现如下异常： 2023-06-05 02:00:20.467 [kafka-producer-thread | producer-1] ERROR com.deloitte.com ......
何时使用Kafka而不是RabbitMQ
Kafka 和 RabbitMQ 都是流行的开源消息系统，它们可以在分布式系统中实现数据的可靠传输和处理。Kafka 和 RabbitMQ 有各自的优势和特点，它们适用于不同的场景和需求。本文将比较 Kafka 和 RabbitMQ 的主要区别，并分析何时使用 Kafka 而不是 RabbitMQ。 ......
linux-kafka
# kafka ## 一、单点部署 > docker-compose创建参考地址 > > https://gitee.com/jasonyin2020/docker-compose/tree/master ### 1.下载kafka软件包 ```sh [root@elk101.com ~]# ll ......
kafka核心
#### kakfa核心 * topic * topic类似于**文件系统中的文件夹**，事件就是该文件夹的**文件**。 * kafka中的主题总是**多生产者和多订阅者**，一个主题可以有零个、一个或多个写入事件的生产者，订阅者同样如此。可以根据需要随时读取主题中的事件。 * 与传统消息传递方式 ......
kafka集群搭建
https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 安装准备 请确保zookeeper集群的正常启动 可参考：大数据学前准备--zookeeper详解与集群搭建（保姆级教程） 2 下载kafka Apache Kafka ......
kafka03 Kafka高可用
1 Replication(拷贝) Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Pa ......
kafka基础
#### kafka基础知识 * kafka简介 * kafka是一个高性能、分布式的流数据平台，是一个分布式的发布-订阅系统和一个强大的队列 * 特点： * 高性能 * 使用顺序读写磁盘的方式来存储和读取消息 * 可扩展 * 采取分布式设计（支持Server间的消息分区和分布式消费，同时保证每个p ......
kafka02 kafka术语和架构简介
1 Kafka中的术语解释概述 在深入理解Kafka之前，先介绍一下Kafka中的术语。 1.1 图示 上图中一个topic配置了3个partition。 Partition1有两个offset：0和1。Partition2有4个offset。Partition3有1个offset。副本的id和副本 ......
kafka01 kafka及消息队列简介
1 Kafka是什么 Kafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统）。 2 消息系统简介 一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有 ......
kafka学习之五_多个磁盘的性能验证
# kafka学习之五_多个磁盘的性能验证 ## 背景 ``` 周末在家学习kafka 上午验证了grafana+kafka_exporter的监控 下午想着验证一把性能相关. kafka学习之三里面,有成套的脚本. 我这边想起来之前还有一个机器, 是四个单盘HDD, 我可以直接进行使用和验证. ` ......
Kafka学习之四_Grafana监控相关的学习
# Kafka学习之四_Grafana监控相关的学习 ## 背景 ``` 想一并学习一下kafaka的监控. 又重新开始学习grafana了: 下载地址: https://grafana.com/grafana/download https://prometheus.io/download/ htt ......
通过Maxwell同步mysql数据至kafka
# 实验环境 本地虚拟机 maraidb 10.8.8 kafka 2.12-3.3.1 maxwell由容器部署 # 1 mariadb ## 1.1 配置log_bin 配置文件中加入如下内容 ``` server-id = 111 log_bin = mysql-bin binlog_form ......
debezium同步mysql数据至kafka（未完待续）
# 实验环境 全部部署于本地虚拟机 # 1 mysql 参考 官方文档 和 根据官方示例镜像（debezium/example-mysql，mysql版本为8.0.32） ## 1.1 创建用户 官方镜像里一共有三个账号 debezium：connect用户 mysqluser：普通用户 repli ......