kafka优缺点
kafka配置内外网分流
骤修改kakfa配置文件config/server.properties 1、 修改listeners,这里配置本机kafka的监听地址 listeners=INSIDE://内网ip:9091,OUTSIDE://外网ip:9092 修改前 listeners= PLAINTEXT://10.12 ......
restFul的优缺点以及思考
## 常用经验 - 在HTTP中，我们要通过 URL 进行资源的定位 >比如: > >要取 id=888 的用户信息，我们就向/user/{id} 这个路径发送请求， > >要取 id=888 的用户的订单列表，我们就向/user/{id}/orders 这个路径发送请求 - 在HTTP 中，DEL ......
【Kafka】kafka生产消费指令
### 推送kafka消息的指令： bin/kafka-console-producer.sh --broker-list 10.1.12.100:9092 --topic setPointValue 这个指令执行入，就会进入一个输入指令的状态，就是 光标变成 ">" 的状态 ### kafka消息 ......
Kafka - 生产者 - 压缩算法
总结 1.Producer 端压缩、Broker 端保持、Consumer 端解压缩。 2.开启压缩的最佳实践： Producer 端完成的压缩，那么启用压缩的一个条件就是 Producer 程序运行机器上的 CPU 资源要很充足。 如果你的环境中带宽资源有限，那么我也建议你开启压缩。如果你的机器 ......
kafka安装部署与使用
##前言 ###1.kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch ......
Kafka-基础
## 1. 简介 **Kafka（Apache Kafka）** 是一种分布式流数据平台，最初由LinkedIn开发，并于后来捐赠给Apache软件基金会，成为了一个Apache顶级项目。它被设计用于处理大规模、实时的数据流，并为构建高吞吐量、容错性强的数据流应用程序提供支持。Kafka的特点使得它 ......
【Kafka3.0】消费者Consumer
[toc] ## kafak消费者 ### 消费者总体工作流程 - **kafka消费方式：**consumer采用从broker中主动拉取的方式去消费数据（pull）。为什么不是broker主动推送呢（push），是因为由broker决定发送速率很难适应所有消费者。pull模式的缺点是kafka没 ......
【kafka3.0】生产者producer
[toc] ## kafka生产者 ### 生产者消息发送流程 #### 发送原理 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulat ......
【Kafka3.0】broker、producer、consumer详解
# kafka3.0 [toc] ## 1. 什么是kafka？ - Kafka传 统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。 - Kafka最 新定义 ： Kafka是 一个开源的 分布式事件流平台 （Event Str ......
远程控制软件优缺点记录
1. todesk mac控制win10，mac可以使用原生按键，例如command，不用使用control来操作，比向日葵和腾讯视频强 2. 向日葵 mac控制win10，屏幕能正常显示，点击正常，但是滚轮变成缩小，按键也失效，貌似是变成了按住fn的操作模式，todesk可以完全正常操作 某些机型 ......
kafka安装以及参数
kafka 安装 安装JDK yum install -y java-1.8.0-openjdk.x86_64 查看版本 java -version kafka是分布式的，需要多台机器，并且保证机器之间是免密登录同时需要用zookeeper集群负责管理。 1、kafka版本选择，从官网下载即可，我这 ......
Kafka在企业级应用中的实践
前言 前面说了很多Kafka的性能优点，有些童鞋要说了，这Kafka在企业开发或者企业级应用中要怎么用呢？今天咱们就来简单探究一下。 1、 使用 Kafka 进行消息的异步处理 Kafka 提供了一个可靠的消息传递机制，使得企业能够将不同组件之间的通信解耦，实现高效的异步处理。在企业级应用中，可以通 ......
kafka经验
使用kafka经验 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见 ......
Flink-读Kafka写Hive表
1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1 ......
Kafka - 线上集群部署方案怎么做？
既然是集群，那必然就要有多个 Kafka 节点机器，因为只有单台机器构成的 Kafka 伪集群只能用于日常测试之用，根本无法满足实际的线上生产需求。而真正的线上环境需要仔细地考量各种因素，结合自身的业务需求而制定。下面我就分别从操作系统、磁盘、磁盘容量和带宽等方面来讨论一下。 操作系统 -- 选择L ......
Kafka - 各个历史版本的重大改进
Kafka版本号解释 前面的版本号2.11是编译 Kafka 源代码的 Scala 编译器版本。 Kafka 服务器端的代码完全由 Scala 语言编写 Kafka 新版客户端代码完全由 Java 语言编写 Kafka各个历史版本的重大改进 Kafka 目前总共演进了 7 个大版本，分别是 0.7、 ......
Kafka - 应该选择哪种Kakfa? Apache/Confluent/CDH/HDP
三种kafka的优缺点 Apache Kafka，也称社区版 Kafka。优势在于迭代速度快，社区响应度高，使用它可以让你有更高的把控度；缺陷在于仅提供基础核心组件，缺失一些高级的特性。 社区版 Kafka 只提供一种连接器，即读写磁盘文件的连接器，而没有与其他外部系统交互的连接器，在实际使用过程中 ......
Kafka - 不仅是消息引擎，还是分布式流处理平台
如果你通读全篇文字但只能记住一句话，我希望你记住的就是这句 Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform） 作为流处理平台，Kafka 与其他主流大数据流式计算框架相比，优势在哪里呢？我能想到的有两点。 第一点是更容 ......
Kafka - 为什么 Kafka 不像 MySQL 那样允许追随者副本对外提供读服务？
几个原因： 1，kafka的分区已经让读是从多个broker读从而负载均衡，不是MySQL的主从，压力都在主上； 2，kafka保存的数据和数据库的性质有实质的区别就是数据具有消费的概念，是流数据，kafka是消息队列，所以消费需要位移，而数据库是实体数据不存在这个概念，如果从kafka的follo ......
kafka的下载和了解
可以登录Apache kafka 官方下载 https://kafka.apache.org/downloads.html 下载Scala 2.13 - kafka_2.13-3.3.1.tgz (asc, sha512) 官方推荐下载scala 2.13版本的。 kafka作为一个分布式流平台，有 ......
SpringBoot整合kafka配置多个kafka配置
依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.6.0</version> </dependency> yml配置 有几个就配置 ......
kafka笔记
1、 kafka broker是kafka的节点信息，相当于服务器节点信息。 2、 kafka的作用是在业务高峰时起到削峰的作用、同时解除生产者和消费者的耦合作用让生产者不再强关联。 3、 kafka可以分为生产者和消费者单topic模式，生产者生产数据后消费者就会删除数据 kafka可以分为多to ......
Kafka为什么这么快？
Kafka 是一个基于发布-订阅模式的消息系统，它可以在多个生产者和消费者之间传递大量的数据。Kafka 的一个显著特点是它的高吞吐率，即每秒可以处理百万级别的消息。那么 Kafka 是如何实现这样高得性能呢？本文将从七个方面来分析 Kafka 的速度优势。 - 零拷贝技术 - 仅可追加日志结构 - ......
并发编程的优缺点
为什么要使用并发编程（并发编程的优点） • 充分利用多核 CPU 的计算能力：通过并发编程的形式可以将多核 CPU 的计 算能力发挥到极致，性能得到提升 • 方便进行业务拆分，提升系统并发能力和性能：在特殊的业务场景下，先 天的就适合于并发编程。现在的系统动不动就要求百万级甚至千万级的并 发量，而多 ......
20,000+ 字，彻底搞懂 Kafka！
## **1、为什么有消息系统** ##### 1、解耦合 ##### 2、异步处理 例如电商平台，秒杀活动。 一般流程会分为： 1. 风险控制 2. 库存锁定 3. 生成订单 4. 短信通知 5. 更新数据 通过消息系统将秒杀活动业务拆分开，将不急需处理的业务放在后面慢慢处理； 流程改为： 1. ......
Kafka生产问题总结及性能优化实践
Kafka可视化管理工具kafka-manager 安装及基本使用可参考：https://www.cnblogs.com/dadonggg/p/8205302.html 线上环境规划 JVM参数设置 kafka是scala语言开发，运行在JVM上，需要对JVM参数合理设置，参看JVM调优专题 修改b ......
kafka名词解释
Apache kafka是消息中间件的一种。 举个例子： 生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再比如生产者很强劲（大交易量的情况），生产者1秒钟生产100个鸡 ......
【Kafka】日志文件存储机制
[toc] - Topic是逻辑上的概念，而partition是物理上的概念 - 每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。 - Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下（不需要先查出来数 ......