kafka优缺点
面试官问：kafka为什么如此之快？
## 前言 天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 ![](https:/ ......
单节点kafka部署笔记
# 1 背景 因为工作中需要对接kafka，准备在测试环境中自己部署一套，考虑方便决定部署一台单点。 # 2 部署 ## 2.1 scala ### 2.1.1 java环境 openjdk即可，我使用的是openjdk1.8 ### 2.1.2 下载软件 下载scala-2.12.17.tgz并解 ......
window系统的power shell 和 Linux Ubuntu 的命令行各自特点和优缺点
PowerShell 是 Windows 系统自带的命令行工具，而 Linux Ubuntu 的命令行则是 Linux 系统的标准命令行工具。它们的特点和优缺点如下： PowerShell 特点和优缺点： 特点： 1. 支持对象管道，可以将命令的输出作为对象进行处理，方便进行脚本编写和自动化处理。 ......
【CentOs】虚拟机中磁盘分为单个文件还是多个文件的优缺点
单个文件的优点： 管理简单：只有一个文件需要管理和备份，不容易出错。 性能高：由于虚拟机磁盘文件是连续的，所以读写性能更高。 安全性高：单个文件更容易加密和保护。 单个文件的缺点： 大小限制：单个文件有大小限制，当文件过大时，可能会出现性能问题。 扩展困难：当需要扩展虚拟机磁盘时，需要将整个文件进行 ......
强化学习基础篇[2]：SARSA、Q-learning算法简介、应用举例、优缺点分析
# 强化学习基础篇[2]：SARSA、Q-learning算法简介、应用举例、优缺点分析 # 1.SARSA SARSA（State-Action-Reward-State-Action）是一个学习马尔可夫决策过程策略的算法，通常应用于机器学习和强化学习学习领域中。它由Rummery 和 Niran ......
kafka动态生产者
package com.sunclouder.das.data.kafka.forward;import cn.hutool.core.util.StrUtil;import cn.hutool.json.JSONObject;import cn.hutool.json.JSONUtil;impor ......
golang实现设计模式之享元模式总结-代码、优缺点、适用场景
享元模式是一种结构型的设计模式，通过共享细粒度对象实现对象的复用，从而达到减少对象创建与销毁，减少内存消耗，其本质是本质是缓存共享对象，降低内存消耗。 享元模式的定义提出了两个要求，细粒度和共享对象。因为要求细粒度，所以不可避免地会使对象数量多且性质相近，此时我们就将这些对象的信息分为两个部分：内部 ......
MQTT协议的优点和缺点
> 翻译自：https://www.nabto.com/mqtt-protocol-iot/ MQTT的全称是Message Queue Telemetry Transmission。顾名思义，它是一个使用了发布-订阅模式的消息模型。在物联网的领域，MQTT已经被广泛使用。MQTT是建立在TCP/I ......
golang实现设计模式之构建者模式总结-代码、优缺点、适用场景
构建者模式也是一种创建型的设计模式，该模式将一个复杂对象的构造与它的表示分离，使同样的构建过程可以创建不同的对象。大白话就是，构建者模式，从输出角度看依然是创建个对象实例，但是构建者模式更关注创建的细节，或者说一个对象的创建可以拆分为多个步骤，所有的步骤完成才创建出这个对象实例，而对于之前分享的工厂 ......
kafka消费者那些事儿
## 前言 消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢？kafka的位移管理又是怎么样的呢？ ## 消费者消费规则 ......
UEFI Windows 11 环境下使用 Ghost 进行批量部署存在一些缺点和瓶颈 已经被淘汰
UEFI Windows 11 环境下使用 Ghost 进行批量部署存在一些缺点和瓶颈： UEFI引导模式兼容问题：Ghost 不支持 UEFI 引导模式下的操作系统部署，因此需要使用第三方工具来将 UEFI 引导模式下的系统转换为 Legacy 引导模式。这可能会涉及到额外的配置和调试，增加了部署 ......
kafka数据检索2
假设有一个名为test的主题，它有3个分区，每个分区的日志文件分别为test-0.log、test-1.log和test-2.log。现在想要通过offset 100来查找test主题的消息。 首先，需要确定offset 100位于哪个分区。可以使用Kafka提供的命令行工具kafka-consum ......
golang实现设计模式之抽象工厂模式总结-代码、优缺点、适用场景
抽象工厂模式也是一种创建型的设计模式，其是在工厂模式的基础上实现更高程度的内聚。我们知道在工厂模式中，一种产品类就需要新建个对应的工厂类生成产品的实例，这会有什么问题呢？ 虽然工厂模式解决了简单工厂模式不好扩展的问题，实现了OCP，但一种产品就需要新建一个工厂类，比如有10000种产品，是不是也是新 ......
golang实现设计模式之工厂模式总结-代码、优缺点、适用场景
工厂模式也是一种创建型模式，它与简单工厂不同的是将实例的创建推迟到具体的工厂类方法中实现，每一种产品生成一个对应的工厂，从而替换掉简单工厂方法模式中那个静态工厂方法。所以在工厂模式中，不同产品就由不同的工厂生产，每次增加产品时，我们就不需要在类似在简单工厂中，在统一的工厂类方法中修改，而是通过直接新 ......
软件的打包发布：Wix和Inno的优缺点
WiX和Inno Setup都是Windows安装包制作工具，它们的区别和优缺点如下： WiX： 优点： 开源、免费 支持多种操作系统和开发环境 拥有强大的扩展性和灵活性 支持自定义安装界面和安装过程 支持自动化构建和测试 缺点： 学习曲线较陡峭，需要掌握一定的XML和MSI知识 编写WiX代码需要 ......
SpringBoot集成kafka全面实战
一、前戏1、在项目中连接kafka，因为是外网，首先要开放kafka配置文件中的如下配置（其中IP为公网IP）， advertised.listeners=PLAINTEXT://112.126.74.249:9092 2、在开始前我们先创建两个topic：topic1、topic2，其分区和副本数 ......
golang实现设计模式之简单工厂模式总结-代码、优缺点、适用场景
今天分享另外一种创建型类型的设计模式-简单工厂模式，简单工厂模式简单概括：客户端请求时，通过工厂类的创建接口，传入不同的参数，进而实现返回不同类的实例，可见运用简单工厂模式，是为了获取不同类的实例。 举个例子，有个工厂，生产不同的水果罐头，有代号01的黄桃罐头，代号02的荔枝罐头，代号03的苹果罐头 ......
kafka消费端可以用预提交的方式进行精确消费
为了避免重复消费：在服务器的数据库端记录一个状态，这个状态标志着这条消息被正确消费了 。如果在向kafka提交commit之前服务器崩掉了，再次启动时服务器读取这个状态，如果是这个消息被正确消费过的，就把指针指向下一条数据。 ......
kafka的leader，follow,offset
1.partition分为主从。 2.当需要严格顺序时（比如秒杀场景），每个topic里面只能有一个partition,这样可以严格保证顺序。虽然多个partition时也可以保证partition内部是顺序执行的，但是不能保证整体是顺序执行的。 3.同一个partition只能由一个消费者。就像一 ......
dp-runtime去Kafka依赖方案
背景 现有原生kafka connect runtime，在客户环境运行遇到诸多问题，问题列表如下： 强依赖Kafka集群做任务分配、connector配置信息、connector状态管理、source进度维护等等 当遇到数据量大、并行数多，topic数量较多时，可能引发kakfa集群的不稳定包括( ......
Kafka使用实例
下面是一个使用Java实现的Kafka示例代码，用于发送和接收消息： 首先，您需要安装Kafka，并确保服务正在运行。 接下来，您可以使用以下示例代码来发送和接收消息： Producer.java文件： ```java import org.apache.kafka.clients.producer ......
kafka集群是如何选择leader，你知道吗？
## 前言 `kafka`集群是由多个`broker`节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗? - 你知道`topic`的分区`leader`是怎么选举的吗？ - 你知道`zookeeper`中存储了`kafka`的什么信息吗？起到什么做呢？ - 你知道`kafka`消息文件是 ......
golang实现设计模式之单例模式总结-代码、优缺点、适用场景
在日常业务开发中，适当应用设计模式，可以实现我们的业务需求，例如全局唯一配置，这里就需要用到单例模式。 什么情况下，我们可以使用单例模式呢？ 这得考虑该模式的适用场景： * 用来控制类型实例的数量的，当需要确保一个类型只有一个实例 ### 单例模式的适用场景： * 1.统计当前在线人数（网站计数器） ......
Kafka在Linux下的安装和使用
Kafka简介 💡 Tips：本文主要介绍在Linux系统中安装和使用Lafka的操作步骤。 安装Kafka 访问Kafka官网，下载安装包版本（https://kafka.apache.org/downloads），下载 kafka_2.12-3.3.2.tgz，前面的 2.12 是 Scala ......
详解大数据中必不可少的消息中间件 kafka（3.x 新版本）
楔子 本次来聊一聊 kafka，相信大家都知道它是一个应用于大数据实时领域、基于发布/订阅模式的分布式消息中间件（或者说消息队列），能够和不同的进程进行通信，从而实现上下游之间的消息传递。有了消息队列之后，上游服务和下游服务就无需直接通信了，上游服务将消息发送到队列中，下游从队列中去取即可，从而实现 ......