kafka
elasticsearch+filebeat+kafka+kibana——filbeat篇章——overview
filbeat篇章——overview https://www.elastic.co/guide/en/beats/filebeat/8.7/filebeat-overview.html#filebeat-overview Filebeat is a lightweight shipper for ......
Kafka命令行操作
1. 查看当前服务器中的所有topic [hadoop@hadoop1 ~]$ kafka-topics.sh --zookeeper hadoop1:2181/kafka --list 2. 创建topic [hadoop@hadoop1 ~]$ kafka-topics.sh --create ......
Kafka安装部署
1. 集群规划 NameNode DataNode NodeManager QuorumPeerMain(zk) SecondaryNameNode ResourceManager Kafka hadoop1 ✅ ✅ ✅ ✅ ✅ hadoop2 ✅ ✅ ✅ ✅ ✅ hadoop3 ✅ ✅ ✅ ✅ ✅ ......
kafka设计理念解析
一.引言 kafka是广泛使用的流处理组件，我们知道怎么使用它，也知道它的实现原理。但是更重要的部分是它的设计理念，即kafka设计者当时是如何考量各种方案的，了解这些，对提升我们的设计能力非常有帮助。 二.动机 我们将 Kafka 设计为一个统一平台，来处理大型公司可能拥有的所有实时数据流。 为此 ......
【flink】重启kafka消费者
public class KafkaConsumerJob { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment. ......
【spring boot】 重启kafka客户端连接
背景 kafka 服务端重建时，kafka客户端会连不上kafka服务端，此时需要重启客户端重连 ##代码实现 @Service public class KafkaConsumerService { private KafkaConsumer<String, String> consumer; @ ......
RabbitMQ、RocketMQ、Kafka性能对比分析
MQ的作用 MQ的作用是解耦、异步、削峰填谷。 未使用MQ的情况 MySql并发写大部分情况下维持在600-800之间，并发读1200-1500之间，所以消费端在消费消息的时候需控制在并发小于1000，从而达到限流的效果。 使用MQ的情况 MQ做个缓冲，消息放到磁盘，几个G或上T都可以存储，消息丢失 ......
银河麒麟高级服务器操作系统V10 SP3安装kafka_2.12-2.3.1
银河麒麟高级服务器操作系统V10 SP3安装kafka_2.12-2.3.1 1.安装环境设置 1关闭Selinux 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 [root@localhost ~]# vim /etc/selinux/config ......
kafka业务数据到ODS层处理小记
kafka业务数据到ODS层处理小记 1：kafka消息partition分区，应以表主键为key 2：kafka消息落地后，同一批次数据中取主键+offset最大的一条，再删除基础数据中此批次数据，最后将此批次数据按数据处理类型（delete、insert、update），先insert、upda ......
kafka
首先配置好zookeeper 修改kafka配置文件 config/server.properties文件中 broker.id=0 port=9092 host.name=192.168.112.91 log.dirs=/usr/local/src/kafka/kafka-logs zookeep ......
Kafka 中基础概念
Broker相关概念 一台 Kafka 服务器节点就是一个broker。一个集群中包含多个 broker。 一个 Kafka 节点就是一个broker。一个或者多个broker节点组成一个Kafka的集群。 比如： 在现在的环境中，我们分别在 10.0.24.12、10.0.24.13、10.0.2 ......
Kafka 集群安装部署
为什么使用 Kafka 消息中间件 缓冲/消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理它们。 K ......
选举算法汇总（redis、zookeeper、kafka）
1.redis 哨兵(sentinel)模式 背景：哨兵模式，节点类型包括master、slave、和sentinel，master-slave节点和主从模式的作用是相同的；多了sentinel节点提高服务的可用性和稳定性 触发原因：master(简称A节点)节点异常，当一个sentinel发现A节 ......
kafka
安装kafka 首先安装jdk，zookeeper，kafka 将压缩包放进linux目录/opt/mySoftware下，并依次执行下面的命令 tar -zxvf jdk-8u361-linux-x64.tar.gz tar -zxvf zookeeper-3.4.12.tar.gz tar -z ......
SchemaRegestry组件原生的类和方法无法实现flink消费kafka的数据动态调整schema的情况--未彻底解决
0、前提知识储备 Conflurent公司的SchemaRegestry组件的基本了解和使用 一、背景： 0.组件版本 flink：1.14 1.链路调整情况 原先链路：oracle-->OGG-->kafka-->flink-->数据库\湖\仓 实现链路：oracle-->OGG-->kafka（ ......
提高kafka消费速度之从源码去了解Spring-kafka的concurrency参数
网上看到这篇文章，觉得很不错，这里转载记录一下。 转自：提高kafka消费速度之从源码去了解Spring-kafka的concurrency参数 - 简书 第一部分、引言 在spring应用中，如果我们需要订阅kafka消息，通常情况下我们不会直接使用kafka-client，而是使用了更方便的一层 ......
面试题百日百刷-kafka篇(五)
**锁屏面试题百日百刷，每个工作日坚持更新面试题。**请看到最后就能获取你想要的, 接下来的是今日的面试题： 1.请简单描述一下kafka中消费者的负载均衡机制**** Kakfa的消费者负载均衡规定, 在一个消费者组内, 监控某一个topic的消费者的数量最多和这个topic的分片数量是相等的 如 ......
Kafka 安装部署
为什么使用 Kafka 消息中间件 缓冲/消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理它们。 K ......
CentOS 7 搭建Kafka集群
CentOS 7 搭建Kafka集群 服务器环境准备 | IP | OS | JDK | | | | | | 192.168.1.25 | CentOS 7.9 | 1.8 | | 192.168.1.28 | CentOS 7.9 | 1.8 | | 192.168.1.22 | CentOS 7 ......
kafka集群搭建文档
概览 Kafka依赖ZooKeeper，所以需要先部署ZooKeeper集群。 环境准备 主机名IP aming01 192.168.222.128 aming02 192.168.222.129 aming03 192.168.222.130 设置主机名，并设置hosts 关闭Selinux、fi ......
面试题百日百刷-kafka篇(四)
**锁屏面试题百日百刷，每个工作日坚持更新面试题。**请看到最后就能获取你想要的, 接下来的是今日的面试题： 1.为什么kafka可以实现高吞吐？单节点kafka的吞吐量也比其他消息队列大，为什么？ Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬 ......
安装Zookeeper和Kafka集群
安装Zookeeper和Kafka集群 本文介绍如何安装Zookeeper和Kafka集群。为了方便，介绍的是在一台服务器上的安装，实际应该安装在多台服务器上，但步骤是一样的。 安装Zookeeper集群 下载安装包 从官网上下载安装包： curl https://dlcdn.apache.org/ ......
kafka消息顺序性学习
转自：https://cloud.tencent.com/developer/article/1839597 1.介绍 全局有序：需要1个Topic只能对应1个Partition，对应的consumer也要使用单线程或者保证消费顺序的线程模型。 局部有序：在发消息的时候指定Partition Key ......
Kafka
Kafka https://www.cnblogs.com/zhh567/p/17301143.html 磁盘顺序顺序读写速度超过了内存随机读写速度 https://spring.io/projects/spring-kafka kafka 组件： Broker 一个节点就是一个Broker Top ......
kafka面试专题 一般有用 看1
1.Kafka 的设计时什么样的呢？ Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成为 consumer. Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 b ......
kafka的基本操作
#1、配置启动文件 // 首先 cd 到kafka的 config 目录 vim server.properties // 找到 listeners 配置项，如果注释掉了，就删除注释 listeners=PLAINTEXT://127.0.0.1.9092 // 修改日志文件的位置,这个文件夹需要你 ......
kafka集群部署教程
#### 部署zookeeper集群 1、先部署zookeeper集群一般是3个节点,安装zookeeper 依赖java 环境先安装 jdk yum install java-1.8.0-openjdk-devel -y java -version #查看jdk版本 2、创建工作目录（3个节点都需 ......
面试题百日百刷-kafka篇(三)
锁屏面试题百日百刷，每个工作日坚持更新面试题。请看到最后就能获取你想要的,接下来的是今日的面试题： 1.如何保证Kafka的消息有序 Kafka对于消息的重复、丢失、错误以及顺序没有严格的要求。 Kafka只能保证一个partition中的消息被某个consumer消费时是顺序的，事实上，从Topi ......
kafka入门
一、kafka概述 二、入门应用 三、可视化工具 kafka可视化工具有很多种，比如 kafka-eagle(EFAK)、kafka-manager、kafka tool等。 在windows本地环境测试，我使用的kafka tool工具。kafka tool官网下载 下载对应版本按照即可，记得修改 ......
kafka查看数据_Kafka 数据积压情况查看
导述由于消息消费速度处理慢或是消费端故障会导致数据产生积压。 那怎么查看数据积压量呢？ Consumer-Groups管理在Kafka 的bin目录下提供了 kafka-consumer-groups.sh 脚本。此脚本用于管理消费情况。 查询消费者组 $KAFKA_DIR/bin/kafka-co ......