位点kafka
K8S 1.24.1 helm 部署 kafka 和 kafka-console-ui
背景 | IP | 角色 | 中间件 | | | | | | 172.16.16.108 | k8s-master-1 | kafka, zookeeper | | 172.16.16.109 | k8s-node-1 | kafka, zookeeper | | 172.16.16.110 | k ......
docker compose 快速安装 单机kafka版并且 持久化
kafka 的业务场景不用多说了，耗时缓存队列，利用高吞吐以及队列模型实现 高并发情况下流量削峰,高流量的日志收集，都是kafka 的应用场景. 单机版的kafka ,在业务场景中，业务对其是非强依赖组件，如果对业务对kafka 强依赖的话，建议搭建 高可用kafka 群集。 机子：centos 安 ......
Kafka中ACKS LSO LEO LW HW AR ISR OSR解析
前言 Kafka中ACKS三种策略，LSO、LEO、LW、HW、AR、ISR、OSR解析。 名称解释 ACKS（Acknowledgments）确认、回执 LW（Low watermark）低水位、LSO（Log start offset）起始偏移量 HW（High watermark）高水位 LE ......
Kafka原理解析
前言 从整体浅析Kafka集群结构、和Zookeeper之间的关系、长轮询机制、消息生产和消费以及顺序消费等。 名词解释 Broker（Kafka服务） Controller（唯一充当控制器的Kafka服务） Topic（消息主题，一个主题包含多个） Partition（消息分区），Replica（ ......
Kafka消息与索引详解
前言 以kafka_2.13-2.8.0为例，分析Kafka消息在磁盘上的存储结构、配置以及如何通过索引找到具体的消息数据。 分区目录 一个分区（Partition）有1到多个副本（Replica），是主从结构，主（Leader）负责处理读写请求，从（Follower）只负责同步数据并在主宕机的时候 ......
Kafka保证消息可靠性配置
前言 这篇内容是保证 Kafka 消息可靠性的相关配置，内容主要来自《Kafka权威指南》这本书，再根据 Apache - Kafka文档2.8 总结出来的。文中每个配置项是个超链接，可以定位到配置的官方文档。代码例子可以访问 GitHub - fruitbasket-litchi-kafka Br ......
在Linux搭建Kafka集群
前言 以kafka_2.13-2.8.0版本做示例，安装架构图如下所示，4台服务器，4个节点的Zookeeper集群（1主2从1观察）以及3个Kafka服务。 准备工作 准备多台服务器来搭建集群环境 Kafka需要Zookeeper做分布式协调，所以得先准备好Zookeeper集群。可以参考 在Li ......
在Linux安装Kafka监控系统EFAK
前言 EFAK（Eagle For Apache Kafka）是一个简单、高性能的Kafka集群监控系统，实现了监控、可视化操作Topic/Zookeeper、SQL查询、告警等功能，它以前的名字叫Kafka Eagle。 我们重点看看如何安装以及简单使用它。 kafka 版本支持：0.8.2.x, ......
Kafka 单机部署搭建及其基本使用
https://blog.csdn.net/web17886480312/article/details/126034345 最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka ......
4-kafka
1、什么是Kafka，Kafka 的设计架构 Producer 生产者即数据的发布者，该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后，broker 将该消息追加到当前用于追加数据的segment文件中。 生产者发送的消息，存储到一个partition中，生产者也可以 ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A2--Kafka部署
一、版本信息 JDK 1.8 kafka 3.3.1 二、集群架构 Kafka-Kraft 架构介绍 左图为 Kafka 原有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构， 不再依赖 z ......
详解大数据中必不可少的消息中间件 kafka（3.x 新版本）
楔子 本次来聊一聊 kafka，相信大家都知道它是一个应用于大数据实时领域、基于发布/订阅模式的分布式消息中间件（或者说消息队列），能够和不同的进程进行通信，从而实现上下游之间的消息传递。有了消息队列之后，上游服务和下游服务就无需直接通信了，上游服务将消息发送到队列中，下游从队列中去取即可，从而实现 ......
kafka 安装和配置
下载及安装 第一步：进入kafka官网 按照自己的需求选择版本，我这里选择 最新版的 2.4.0 http://archive.apache.org/dist/kafka/2.4.0/kafka_2.11-2.4.0.tgz 2. 第二步：下载 wget http://archive.apache. ......
php 扩展kafka
一、安装librdkafka cd /usr/local/src/ git clone https://github.com/edenhill/librdkafka.git cd librdkafka ./configure make make install ln -s /usr/local/li ......
php kafka生产者，消费者操作
php7.2 kafka7.8.1 生产者代码 <?php $conf = new RdKafka\Conf(); $conf->setDrMsgCb(function ($kafka, $message) { file_put_contents("./dr_cb.log", var_export( ......
kafka 安装
安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off Kafka官网下载安装包 http://kafka.apache.org/downloads.h ......
Kafka在本地环境下不消费数据
package com.test.core.condition; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Value; import org.springframewo ......
docker-zk-kafka
docker-zk-kafka docker-compose.yml version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kaf ......
docker部署zookeeper与kafka
version: '3' services: zookeeper: image: zookeeper:3.6.3 restart: always networks: - kz hostname: zookeeper ports: - 2181:2181 kafka: image: 'bitnami/ ......
kafka的安装与配置
安装并配置Kafka Broker 这里将kafka和zookeeper部署在一起了。 1、下载与安装Kafka kafka官网https://kafka.apache.org/downloads 所以这里推荐的版本是kafka_2.12-2.7.2.tgz 将下载下来的安装包直接解压到一个路径下即 ......
kafka、zookeeper入门
ZooKeeper基础与入门 1、ZooKeeper概念介绍 在介绍ZooKeeper之前，先来介绍一下分布式协调技术 所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。 这里首先介绍下什么是分布式系统 所谓分布式系 ......
java——spring boot集成kafka——kafka集群中Rebalance机制
前提是：消费者没有指明分区消费。当消费组⾥消费者和分区的关系发⽣变化，那么就会触发rebalance机制。 这个机制会重新调整消费者消费哪个分区。 在触发rebalance机制之前，消费者消费哪个分区有三种策略： 1、range：通过公示来计算某个消费者消费哪个分区2、轮询：⼤家轮着消费3、stic ......
java——spring boot集成kafka——kafka集群中controller的作用
Kafka集群中的broker在zk中创建临时序号节点，序号最⼩的节点（最先创建的节点）将作为集群的controller，负责管理整个集群中的所有分区和副本的状态： 1、当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。 2、当检测到某个分区的ISR集合发⽣变化时 ......