kafka优缺点
kafka的安装与配置
安装并配置Kafka Broker 这里将kafka和zookeeper部署在一起了。 1、下载与安装Kafka kafka官网https://kafka.apache.org/downloads 所以这里推荐的版本是kafka_2.12-2.7.2.tgz 将下载下来的安装包直接解压到一个路径下即 ......
kafka、zookeeper入门
ZooKeeper基础与入门 1、ZooKeeper概念介绍 在介绍ZooKeeper之前，先来介绍一下分布式协调技术 所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。 这里首先介绍下什么是分布式系统 所谓分布式系 ......
java——spring boot集成kafka——kafka集群中Rebalance机制
前提是：消费者没有指明分区消费。当消费组⾥消费者和分区的关系发⽣变化，那么就会触发rebalance机制。 这个机制会重新调整消费者消费哪个分区。 在触发rebalance机制之前，消费者消费哪个分区有三种策略： 1、range：通过公示来计算某个消费者消费哪个分区2、轮询：⼤家轮着消费3、stic ......
java——spring boot集成kafka——kafka集群中controller的作用
Kafka集群中的broker在zk中创建临时序号节点，序号最⼩的节点（最先创建的节点）将作为集群的controller，负责管理整个集群中的所有分区和副本的状态： 1、当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。 2、当检测到某个分区的ISR集合发⽣变化时 ......
java——spring boot集成kafka——spring boot集成kafka——消费者的配置细节
@KafkaListener(groupId = "testGroup", topicPartitions = { @TopicPartition(topic = "topic1", partitions = {"0", "1"}), @TopicPartition(topic = "topic2" ......
java——spring boot集成kafka——spring boot集成kafka
引入依赖： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 编写配置文件： erver: port: 8080 spring: ......
kafka（java客户端）生产者消费者不能连接虚拟机kafka
报错如下： ...:localhost:9092... java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native ......
flink中配置kafka
Flink 提供了 Apache Kafka 连接器，用于从 Kafka topic 中读取或者向其中写入数据，可提供精确一次的处理语义。 一：简单使用 1.pom <!--Flink Connector KAFKA--> <dependency> <groupId>org.apache.flink ......
redis集群方案的优缺点以及原理
如果主库挂了，我们就需要运行一个新主库，比如说把一个从库切换为主库，把它当成主库。 这就涉及到三个问题： 主库真的挂了吗？ 该选择哪个从库作为主库？ 怎么把新主库的相关信息通知给从库和客户端呢？ 这就要提到哨兵机制了。在 Redis 主从集群中，哨兵机制是实现主从库自动切换的关键机制，它有效地解决了 ......
kafka学习笔记
一、初识kafka kafka的数据单元被称为消息，为了提高效率，消息会被分批次写入kafka，批次就是一组消息，这些消息属于同一个主题和分区。批次数据会被压缩，这样可以提升数据的传输和存储能力，但要做更多的计算处理。 kafka的消息通过主题进行分类，主题可以被分为若干个分区，消息以追加的方式写入 ......
Redis和kafka比较,两者的区别和各自的优势。
1. Redis，它首先是一个内存数据库，其提供的PUB/SUB功能把消息保存在内存中(基于channel)，因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话，使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子：模拟IRC，因为channel就是I ......
kafka幂等性与重复消费
1、Kafka生产者幂等性 1）Kafka 消息交付可靠性保障： Kafka 默认是：至少一次 最多一次 (at most once) : 消息可能会丢失，但绝不会被重复发送 至少一次 (at least once) : 消息不会丢失，但有可能被重复发送 精确一次 (exactly once) : ......
【kafka】-生产环境问题-报错Maximum application poll interval
一.产生的问题 在.NET环境下使用kafka，消费者长时间消费，会报“ Application maximum poll interval (10000ms) ”错误。 二.重现问题 2.1.消费者配置 SessionTimeoutMs（会话超时时间）和MaxPollIntervalMs（上一次拉 ......
k8s 中使用helm 安装zookeeper，kafka集群<三>
helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm install kafka bitnami/kafka \ --set statefulset.replicaCount=1 \ --set ......
Linux 部署： canal (同步mariadb数据发往kafka)
参考文档：https://blog.csdn.net/weixin_55549435/article/details/123309631 1 节点规划 | 节点 | ip | deploy | | | | | | vm1 | 192.168.122.61 | zk + kafka + DB | | ......
kafka的基本概念
1 Broker Kafka集群包含一个或多个服务器，服务器节点称为broker。 如图，我们有2个broker，6个partition，则会均分；如果只有1个partition，那么另一个broker会闲置。 理想情况，我们希望broker数量等于partition数量，然后每个partition ......
关于 kafka 的一些经验
1. kafka 高吞吐原因 PageCache + 顺序写磁盘 (读与写) producer 请求：Server端的I/O线程统一将请求写到操作系统的 PageCache 后立即返回，当消息达到一定阈值后, Kafka 应用本身会操作系统内核会触发强制刷盘 comsumer 请求: 主要利用了 z ......
kafka-exporter
Kafka Exporter packaged by Bitnami What is Kafka Exporter? Kafka exporter for Prometheus. Overview of Kafka Exporter Trademarks: This software listing ......
kafka
Apache Kafka packaged by Bitnami What is Apache Kafka? Apache Kafka is a distributed streaming platform designed to build real-time pipelines and can ......
kafka---->kafka生产者(一)
我们将会介绍 Kafka 的消费者客户端，以及如何从 Kafka 读取消息。 kafka生产者概述 ⼀个应⽤程序在很多情况下需要往 Kafka 写⼊消息：记录⽤户的活动（⽤于审计和分析）、记录度量 指标、保存⽇志消息、记录智能家电的信息、与其他应⽤程序进⾏异步通信、缓冲即将写⼊到数据库 的数据等等。 ......
Kafka随笔
快速认识Kafka Kafka是最初由Linkedin公司开发，用作 Linkedin 的活动流（Activity Stream）和运营数据处理管道的基础。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，官方的定义Kafka是一个高吞吐量的分布式流处理平台。Kafka由Sc ......
kafka rebalance你真的了解吗
介绍 今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都是由于 rebalance 引起的，rebalance 也就是再均衡，顾名思义，再均衡就是再次负载均衡，下面会对再均衡进行一个详细的描述。 负载均衡 ......
并发编程的优缺点
为什么要使用并发编程（并发编程的优点） 充分利用多核CPU的计算能力 方便进行业务拆分，提升系统并发能力和性能 并发编程的缺点 并发编程的目的就是为了能提高程序的执行效率，提高程序运行速度，但是并发编程并不总是能提高程序运行速度的，而且并发编程可能会遇到很多问题，比如：内存泄漏、上下文切换、线程安全 ......
Go接入kafka
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756 ......