kafka
4-kafka
1、什么是Kafka，Kafka 的设计架构 Producer 生产者即数据的发布者，该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后，broker 将该消息追加到当前用于追加数据的segment文件中。 生产者发送的消息，存储到一个partition中，生产者也可以 ......
ELK+kafka集群部署
前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采 ......
A2--Kafka部署
一、版本信息 JDK 1.8 kafka 3.3.1 二、集群架构 Kafka-Kraft 架构介绍 左图为 Kafka 原有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构， 不再依赖 z ......
详解大数据中必不可少的消息中间件 kafka（3.x 新版本）
楔子 本次来聊一聊 kafka，相信大家都知道它是一个应用于大数据实时领域、基于发布/订阅模式的分布式消息中间件（或者说消息队列），能够和不同的进程进行通信，从而实现上下游之间的消息传递。有了消息队列之后，上游服务和下游服务就无需直接通信了，上游服务将消息发送到队列中，下游从队列中去取即可，从而实现 ......
kafka 安装和配置
下载及安装 第一步：进入kafka官网 按照自己的需求选择版本，我这里选择 最新版的 2.4.0 http://archive.apache.org/dist/kafka/2.4.0/kafka_2.11-2.4.0.tgz 2. 第二步：下载 wget http://archive.apache. ......
php 扩展kafka
一、安装librdkafka cd /usr/local/src/ git clone https://github.com/edenhill/librdkafka.git cd librdkafka ./configure make make install ln -s /usr/local/li ......
php kafka生产者，消费者操作
php7.2 kafka7.8.1 生产者代码 <?php $conf = new RdKafka\Conf(); $conf->setDrMsgCb(function ($kafka, $message) { file_put_contents("./dr_cb.log", var_export( ......
kafka 安装
安装前期准备： 1，准备三个节点（根据自己需求决定） 2，三个节点上安装好zookeeper（也可以使用kafka自带的zookeeper） 3，关闭防火墙 chkconfig iptables off Kafka官网下载安装包 http://kafka.apache.org/downloads.h ......
Kafka在本地环境下不消费数据
package com.test.core.condition; import lombok.extern.slf4j.Slf4j; import org.springframework.beans.factory.annotation.Value; import org.springframewo ......
docker-zk-kafka
docker-zk-kafka docker-compose.yml version: '2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kaf ......
docker部署zookeeper与kafka
version: '3' services: zookeeper: image: zookeeper:3.6.3 restart: always networks: - kz hostname: zookeeper ports: - 2181:2181 kafka: image: 'bitnami/ ......
kafka的安装与配置
安装并配置Kafka Broker 这里将kafka和zookeeper部署在一起了。 1、下载与安装Kafka kafka官网https://kafka.apache.org/downloads 所以这里推荐的版本是kafka_2.12-2.7.2.tgz 将下载下来的安装包直接解压到一个路径下即 ......
kafka、zookeeper入门
ZooKeeper基础与入门 1、ZooKeeper概念介绍 在介绍ZooKeeper之前，先来介绍一下分布式协调技术 所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。 这里首先介绍下什么是分布式系统 所谓分布式系 ......
java——spring boot集成kafka——kafka集群中Rebalance机制
前提是：消费者没有指明分区消费。当消费组⾥消费者和分区的关系发⽣变化，那么就会触发rebalance机制。 这个机制会重新调整消费者消费哪个分区。 在触发rebalance机制之前，消费者消费哪个分区有三种策略： 1、range：通过公示来计算某个消费者消费哪个分区2、轮询：⼤家轮着消费3、stic ......
java——spring boot集成kafka——kafka集群中controller的作用
Kafka集群中的broker在zk中创建临时序号节点，序号最⼩的节点（最先创建的节点）将作为集群的controller，负责管理整个集群中的所有分区和副本的状态： 1、当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。 2、当检测到某个分区的ISR集合发⽣变化时 ......
java——spring boot集成kafka——spring boot集成kafka——消费者的配置细节
@KafkaListener(groupId = "testGroup", topicPartitions = { @TopicPartition(topic = "topic1", partitions = {"0", "1"}), @TopicPartition(topic = "topic2" ......
java——spring boot集成kafka——spring boot集成kafka
引入依赖： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 编写配置文件： erver: port: 8080 spring: ......
kafka（java客户端）生产者消费者不能连接虚拟机kafka
报错如下： ...:localhost:9092... java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native ......
flink中配置kafka
Flink 提供了 Apache Kafka 连接器，用于从 Kafka topic 中读取或者向其中写入数据，可提供精确一次的处理语义。 一：简单使用 1.pom <!--Flink Connector KAFKA--> <dependency> <groupId>org.apache.flink ......
kafka学习笔记
一、初识kafka kafka的数据单元被称为消息，为了提高效率，消息会被分批次写入kafka，批次就是一组消息，这些消息属于同一个主题和分区。批次数据会被压缩，这样可以提升数据的传输和存储能力，但要做更多的计算处理。 kafka的消息通过主题进行分类，主题可以被分为若干个分区，消息以追加的方式写入 ......
Redis和kafka比较,两者的区别和各自的优势。
1. Redis，它首先是一个内存数据库，其提供的PUB/SUB功能把消息保存在内存中(基于channel)，因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话，使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子：模拟IRC，因为channel就是I ......
kafka幂等性与重复消费
1、Kafka生产者幂等性 1）Kafka 消息交付可靠性保障： Kafka 默认是：至少一次 最多一次 (at most once) : 消息可能会丢失，但绝不会被重复发送 至少一次 (at least once) : 消息不会丢失，但有可能被重复发送 精确一次 (exactly once) : ......
【kafka】-生产环境问题-报错Maximum application poll interval
一.产生的问题 在.NET环境下使用kafka，消费者长时间消费，会报“ Application maximum poll interval (10000ms) ”错误。 二.重现问题 2.1.消费者配置 SessionTimeoutMs（会话超时时间）和MaxPollIntervalMs（上一次拉 ......
k8s 中使用helm 安装zookeeper，kafka集群<三>
helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm install kafka bitnami/kafka \ --set statefulset.replicaCount=1 \ --set ......