kafka优缺点
何时使用Kafka而不是RabbitMQ
Kafka 和 RabbitMQ 都是流行的开源消息系统，它们可以在分布式系统中实现数据的可靠传输和处理。Kafka 和 RabbitMQ 有各自的优势和特点，它们适用于不同的场景和需求。本文将比较 Kafka 和 RabbitMQ 的主要区别，并分析何时使用 Kafka 而不是 RabbitMQ。 ......
linux-kafka
# kafka ## 一、单点部署 > docker-compose创建参考地址 > > https://gitee.com/jasonyin2020/docker-compose/tree/master ### 1.下载kafka软件包 ```sh [root@elk101.com ~]# ll ......
kafka核心
#### kakfa核心 * topic * topic类似于**文件系统中的文件夹**，事件就是该文件夹的**文件**。 * kafka中的主题总是**多生产者和多订阅者**，一个主题可以有零个、一个或多个写入事件的生产者，订阅者同样如此。可以根据需要随时读取主题中的事件。 * 与传统消息传递方式 ......
kafka集群搭建
https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 安装准备 请确保zookeeper集群的正常启动 可参考：大数据学前准备--zookeeper详解与集群搭建（保姆级教程） 2 下载kafka Apache Kafka ......
kafka03 Kafka高可用
1 Replication(拷贝) Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Pa ......
kafka基础
#### kafka基础知识 * kafka简介 * kafka是一个高性能、分布式的流数据平台，是一个分布式的发布-订阅系统和一个强大的队列 * 特点： * 高性能 * 使用顺序读写磁盘的方式来存储和读取消息 * 可扩展 * 采取分布式设计（支持Server间的消息分区和分布式消费，同时保证每个p ......
kafka02 kafka术语和架构简介
1 Kafka中的术语解释概述 在深入理解Kafka之前，先介绍一下Kafka中的术语。 1.1 图示 上图中一个topic配置了3个partition。 Partition1有两个offset：0和1。Partition2有4个offset。Partition3有1个offset。副本的id和副本 ......
kafka01 kafka及消息队列简介
1 Kafka是什么 Kafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统）。 2 消息系统简介 一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有 ......
同步调用 与 异步调用的优缺点【MQ】
案例 优点 缺点 同步 调用 Feign 时效性较强，可以立即得到结果 1、耦合度高 2、性能和吞吐能力下降 3、有额外的资源消耗 4、有级联失败问题 异步 调用 Rabbit MQ 1、吞吐量提示：无需等待订阅者处理完成，响应更快速 2、故障隔离：服务没有直接调用，不存在级联失败问题 3、调用间没 ......
kafka学习之五_多个磁盘的性能验证
# kafka学习之五_多个磁盘的性能验证 ## 背景 ``` 周末在家学习kafka 上午验证了grafana+kafka_exporter的监控 下午想着验证一把性能相关. kafka学习之三里面,有成套的脚本. 我这边想起来之前还有一个机器, 是四个单盘HDD, 我可以直接进行使用和验证. ` ......
Kafka学习之四_Grafana监控相关的学习
# Kafka学习之四_Grafana监控相关的学习 ## 背景 ``` 想一并学习一下kafaka的监控. 又重新开始学习grafana了: 下载地址: https://grafana.com/grafana/download https://prometheus.io/download/ htt ......
通过Maxwell同步mysql数据至kafka
# 实验环境 本地虚拟机 maraidb 10.8.8 kafka 2.12-3.3.1 maxwell由容器部署 # 1 mariadb ## 1.1 配置log_bin 配置文件中加入如下内容 ``` server-id = 111 log_bin = mysql-bin binlog_form ......
debezium同步mysql数据至kafka（未完待续）
# 实验环境 全部部署于本地虚拟机 # 1 mysql 参考 官方文档 和 根据官方示例镜像（debezium/example-mysql，mysql版本为8.0.32） ## 1.1 创建用户 官方镜像里一共有三个账号 debezium：connect用户 mysqluser：普通用户 repli ......
docker-compose多服务器部署kafka集群
- Kafka 是一个开源的分布式事件流平台，依赖Zookeeper或者KRaft，本文基于Zookeeper。 ## 服务器IP配置 本文使用三个服务器来做集群搭建，IP如下： | nodeName | IP | | | | | node1 | 10.10.210.96 | | node2 | 1 ......
MySQL查询缓存的优缺点
# 1. MySQL查询缓存的优缺点 [TOC] ## 1.1. 前言 其实MySQL8.0已经取消了查询缓存。如果是小型项目，又不想用Reids或者MC等缓存，查询结果相对固定，可以在MySQL5.7以下版本设置缓存。 ####################################### ......
1. CS和BS的优缺点
# 1. CS CS ： 客户端服务器架构模式 优点 ： 充分利用客户端机械的资源 ， 减轻服务器的符合 缺点 : 需要安装 ； 升级维护成本较高 # 2. BS 优点 ： 客户端不需要安装 ； 维护成本较低 缺点 ： * 所有的计算和存储任务都是放在服务器端的 ，服务器的负荷较重 * 在服 ......
kafka学习之三_信创CPU下单节点kafka性能测试验证
# kafka学习之三_信创CPU下单节点kafka性能测试验证 ## 背景 ``` 前面学习了 3controller+5broker 的集群部署模式. 晚上想着能够验证一下国产机器的性能. 但是国产机器上面的设备有限. 所以想着进行单节点的安装与测试. 并且记录一下简单结果 希望对以后的工作有指 ......
kafka的学习之一_带SASL鉴权的集群安装与启动
# kafka的学习之一_带SASL鉴权的集群安装与启动 ## 背景 ``` 想开始一段新的里程. 可能会比现在累, 可能会需要更多的学习和努力. kafka可能就是其中之一. 自己之前总是畏缩不前. 不想面对很多压力. 年龄已经很大了, 必须得向前看继续努力了. ``` ## 关于kafka `` ......
kafka的学习之二_kafka的压测与GUI管理
# kafka的学习之二_kafka的压测与GUI管理 ## 第一部分创建topic ``` cd /root/kafka_2.13-3.5.0 bin/kafka-topics.sh --create --bootstrap-server 10.110.139.184:9093 --command ......
使用 JMX-Exporter 监控 Kafka 和 Zookeeper
JVM 默认会通过 JMX 的方式暴露基础指标，很多中间件也会通过 JMX 的方式暴露业务指标，比如 Kafka、Zookeeper、ActiveMQ、Cassandra、Spark、Tomcat、Flink 等等。掌握了 JMX 监控方式，就掌握了一批程序的监控方式。本节介绍 JMX-Export ......
Kafka的文件顺序读写
# 背景说明 Kafka使用起来很方便，而且磁盘写入性能非常好，那么它是如何实现的呢。 在[Kafka的文档](https://kafka.apache.org/documentation/#persistence)说明中，有这样一段：  的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商 ......