位点kafka
kafka工作原理
# 1. 工作流程以及文件存储机制 kafka 中的消息是以topic进行分类的，生产消费消息都是面向topic。 topic是逻辑上的概念，partition 分区是物理上的概念，每个分区对应一个log文件，该log文件存储的就是producer 生产的log 数据。producer生产的 ......
kafka消息的顺序性
传统队列的顺序性 传统队列在服务器上保存有序的记录，如果多个消费者消费队列中的数据， 服务器将按照存储顺序输出记录。虽然服务器按顺序输出记录，但是记录被异步传递给消费者， 因此记录可能会无序的到达不同的消费者。这意味着在并行消耗的情况下， 记录的顺序是丢失的。因此消息系统通常使用“唯一消费者”的概念 ......
kafka的主从同步
kafka的主从同步 Kafka允许topic的分区拥有若干副本，所以当一个节点down掉时数据依然是可用的 创建副本的单位是topic的分区，每个分区都有一个leader和零或多个followers，所有的读写操作都由leader处理 一般分区的数量都比broker的数量多的多，各分区的leade ......
mq和kafka的区别
Kafka和MQ（消息队列）是两个不同的消息传递系统，它们的区别主要表现在以下几个方面： 1. 数据处理方式：Kafka是一种流式数据处理平台，用于在高吞吐量条件下发送、存储和处理消息流。MQ则更侧重于异步消息传递，即将消息发送到队列中，由消费者按照一定规则进行消费。 2. 消息持久化：Kafka基 ......
kafka环境搭建（Windows10）
1.安装Java jdk 说明：kafka是使用zookeeper来进行集群部署，zookeerper运行环境依赖Java环境，因此需要安装Java jdk，并设置好系统环境变量。 1.1下载jdk 1.8 华为提供的下载服务：https://repo.huaweicloud.com/java/jd ......
Kafka副本机制
1 副本机制的定义：所谓副本机制（Replication），也可以称之为备份机制，通常是指分布式在多台网络互连的机器上保存有相同的数据拷贝。 2 副本机制的好处： 提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。 提供高伸缩性。支持横向扩展，能够通过增加 ......
Kafka通信模型/流程
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议 由于UDP协议是一种不可靠的传输协议，所以Kafka系统采用TCP协议作为服务间的通信协议 通信 通信模型 Reactor线程模型 Java NIO中的selector模型。最简单的Reacto ......
2-kafka日志和分区
1.topic中日志存储形式 分区内部有序，但是同一分区不同partion之间的消息的顺序是无法得知的； 2.分区有序概念 kafka是消息队列，数据在写入topic是按照轮循或者hash(key)%分区数方式将数据写入，分区中是无法保证分区与分区 数据的顺序，只能保证分区内部数据的顺序，但是无法得 ......
首次启动Kafka报Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
首次启动Kafka报错如下： 原因：内存不足，查看启动配置 调小一些： ......
Kafka面试题
# kafka 都有哪些特点？ 高吞吐量，低延迟 可以热扩展 并发度高 具有容错性(挂的只剩1台也能正常跑) 可靠性高 # 在哪些场景下会选择 kafka？ kafka的一些应用 - 日志收集：一个公司可以用kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consum ......
Kafka-数据出现积压的原因以及如何解决积压问题？
Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 ......
Kafka关键原理
# 日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 1. 当前日志分段文件的大小超过了broker端参数 `log.segment.bytes` 配置的值。`log.segment.bytes`参数的默认值为 `1073741824`，即1GB 2. 当前日志分段中消息的最小时间 ......
1-kafka介绍及基础架构
1.kafka: 高吞吐量的分布式发布订阅消息系统； 1>同步变异步 2>解耦 3>削峰填谷 2.消息队列的两种工作模式: 保证到kafka中的消息被多个消费者消费，并且被相同消费者重复消费； 3.kafka集群形式 4. hash:消息的均匀分散，相同的key落入同一分区 只有leader负责分区 ......
手记系列之六 ----- 分享个人使用kafka经验
## 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见谅。温馨提醒， ......
Java Kafka简单地将Map对象序列化为json
最近用到kafka，想简单地把Map对象序列化为json发送到主题， 直接用string序列化，生成的结果不是json，虽然格式很像， key都没有引号，可能是直接调用的toString方法。 但是网上搜了一圈，都是spring组合或者其他不太简单的方案。 在哔站看了一段视频受到启发，就实现了一个自 ......
Kafka的系统架构和API开发
# 系统架构 **主题topic和分区partition** - topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic - partition分区（提升kafka吞吐量） topic中数据的具体 ......
Kafka 面试题
## 1. 为什么要使用 Kafka，为什么要使用消息队列 1. 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，Kafka 在中间可以起到一个缓冲的作用，把消息暂存在 Kafka 中，下游服务就可以按照自己的节奏进行慢慢处理。 2. 解耦和扩展性：项目开始的时 ......
流式处理平台Kafka为什么能这么快
天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的快指的是kafka在单位时间搬运的数据量大小，也就是吞吐量。下图是不同消息队列的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 那究竟是什么原因让kafka如 ......
kafka的安装和基本操作
# 基本概念 ## 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总 ......
kafka实现高可用性
什么是高可用 「高可用性」，指系统无间断地执行其功能的能力，代表系统的可用性程度 Kafka从0.8版本开始提供了高可用机制，可保障一个或多个Broker宕机后，其他Broker能继续提供服务 备份机制 Kafka允许同一个Partition存在多个消息副本，每个Partition的副本通常由1个L ......
RDS 、HDFS、 mapreduce 、spark 、hive、 hbase 、zookeeper 、kafka 、flume、mysql 安装时之间配置文件是如何依赖的？
这些技术是大数据领域的常用组件，它们之间的配置文件依赖关系如下： RDS是一种关系型数据库，可以独立安装和使用，不需要依赖其他组件。 HDFS是Hadoop分布式文件系统，通常与MapReduce一起使用。在Hadoop集群中，HDFS需要配置core-site.xml和hdfs-site.xml两 ......
Kafka 单机部署搭建及其基本使用
最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！ 当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web 一 ......
Linux 安装Kafka及远程访问
下载 wget 官网 tar -zxvf kafka_2.13-2.5.0.tgz 启动kafka和zookeeper 编写一个sh文件启动 /opt/kafka_2.13-3.0.0/bin/zookeeper-server-start.sh /opt/kafka_2.13-3.0.0/confi ......
kafka
1.消息的模式主要两种，第一种点对点，消费完就删掉。第二种主流的，发布订阅，一对多，消费之后不会删掉。 2.卡夫卡的主要结构：生产者--broker--消费者，broker里有很多partation，实际上一个broker就是一台服务器，partation类似于es的分片，也有主分区从分区之分，只不 ......
原来kafka也有事务啊，再也不担心消息不一致了
## 前言 现在假定这么一个业务场景，从`kafka`中的`topic`获取消息数据，经过一定加工处理后，发送到另外一个`topic`中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的`Exactly-Once`精确一次消息投递。这该如何实现呢？ ![](https://p3-juejin ......
自定义logger写入日志到kafka中
# 1.引入开源组件logback-kafka-appender ```xml com.github.danielwegener logback-kafka-appender 0.2.0-RC2 ch.qos.logback logback-classic ``` # 2.logback-sprin ......
KafKa消费开发
KafKa消费开发配置 以下代码需要写完整，不完整会出现中断，假死现象，长时间不处理问题。（实际项目代码） /// <summary> /// - offsets 是自动提交的。 /// - consumer.Poll / OnMessage 是用于消息消费的。 /// - 没有为轮询循环创建（Po ......
Spark消费Kafka
0. 前言 之前先写了处理数据的spark，用文件读写测了一批数据，能跑出结果；今天调通了Kafka，拼在一起，没有半点输出，查了半天，发现是之前的处理部分出了问题，把一个不等号打成了等号，把数据全filter没了。很恐怖，我保证这段时间我没动过这段代码，但上次真的跑出东西了啊（尖叫 1. 配置流程 ......
面试官问：kafka为什么如此之快？
## 前言 天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 ![](https:/ ......