springcloud stream kafka
kafka常见问题
报错1 [root@slave1 data_mocker]# kafka-console-consumer.sh --bootstrap-server slave1:9092 --topic topic_db [2023-12-19 18:31:12,770] WARN [Consumer clie ......
SpringCloud Gateway
一、依赖 <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-gateway</artifactId> </dependency> 二、配置 spring: cloud: ......
HTTP事件流 text/event-stream
GitHub All-in-one OpenAI Demo 一、依赖 <dependency> <groupId>org.asynchttpclient</groupId> <artifactId>async-http-client</artifactId> <version>2.12.3</ver ......
Kafka核心逻辑介绍
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica）分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数... ......
HTTP事件流 text/event-stream
GitHub All-in-one OpenAI Demo 一、依赖 <dependency> <groupId>org.asynchttpclient</groupId> <artifactId>async-http-client</artifactId> <version>2.12.3</ver ......
stream流的概述以及idea与stream
前面自己学过一些流的概念，比如IO流，用于读写本地的数据。 stream流主要是用于对集合/数组进行操作 idea现在已经很好的支持Stream流操作，在debug的时候可以很好的看到详细内容 下面以一个我的简单demo为例 1.distinct进行去重 2.filter去重之后的过滤//是一个中间 ......
zookeeper及kafka在Linux下的安装与配置
一、Zookeeper的下载、安装、配置ZooKeeper服务器是用Java创建的，它需要在JVM上运行，所以需要使用JDK1.6及以上版本的支持。对于jdk的安装本文不做介绍。 1、zookeeper的下载：因为apache-zookeeper-3.5.5的在安装完启动时可能会报，"错误: 找不到 ......
linux安装kafka教程
一、安装kafka1、下载kafka1.到kafka的官网，去下载想用的kafka包：http://kafka.apache.org/downloads 2.我这里下载的是：kafka_2.12-3.4.1.tgz 3.将安装包传送到服务器并解压（默认这里解压了就是安装路径了，可以自己斟酌）： 比如 ......
mac安装php-kafka
首先，安装文档在: 如何使用PHPSDK接入消息队列Kafka版并收发消息_云消息队列 Kafka 版(ApsaraMQ for Kafka)-阿里云帮助中心 (aliyun.com) 但是按照这个文档，存在一个问题，一直报错: 1 ... 2 checking for rdkafka suppor ......
SpringBoot与SpringCloud的版本对应详细版
最新的使用 版本兼容 <!-- 统一管理jar包版本 --> <properties> <spring-cloud.version>2021.0.5</spring-cloud.version> <spring-boot.version>2.7.6</spring-boot.version> </p ......
面试官问我：线程锁导致的kafka客户端超时，如何解决？
本文分享自华为云社区《线程锁导致的kafka客户端超时问题》，作者： 张俭 。 问题背景 有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程 我们先对客户端的环境及JVM情况进行了排查，从JVM所在的虚拟机到kafka server的网络正常，垃圾回收（GC）时间也在 ......
kafka入门(四)：kafka生产者发送消息
创建生产者实例和构建消息之后，就可以开始发送消息了。 发送消息主要有三种模式：发后即忘、同步、异步。 发后即忘： 就是直接调用 生产者的 send方法发送。 发后即完，只管往 kafka中发送消息，而不关心消息是否正确到达。 这种发送方式的性能最高，可靠性也最差。 producer.send(rec ......
SpringCloud
SpringCloud 文章推荐：Eureka：Spring Cloud服务注册与发现组件（非常详细） (biancheng.net) 概述 Spring Cloud 是一个服务治理平台，是若干个框架的集合，提供了全套的分布式系统解决方案。包含了：服务注册与发现、配置中心、服务网关、智能路由、负载均 ......
Kafka 机制和 Kafka-Stream
Kafka 优势 异步和解耦：生产者和消费者间，没有直接关系，也不需要等待对方回应 压力自己控制：由于消费者使用 pull 消费数据，不会出现消费能力不足而丢数据的问题 高可靠：多节点，分布式，一致性，数据多个备份 安全：支持 TLS/SSL 认证 高吞吐量 可重复消费 是一个非常好用的高吞吐量的分 ......
helm部署Kafka集群
1.准备文件 1.1.创建命令空间 kubectl create ns kafka 1.1.helm包拉取本地 # 添加bitnami仓库 helm repo add bitnami https://charts.bitnami.com/bitnami # 查询chart helm search r ......
Kafka日志压实算法
概念介绍 我们有时候可以把Kafka当作key、value数据库用（当然kafka中的消息可以不指定key）。 __consumer_offsets 这个topic的数据，就是典型的key、value数据。 /usr/local/kafka2.8/bin/kafka-run-class.sh kaf ......
60道KafKa高频题整理（附答案背诵版）
废话不多说，直接上干货 简述什么是 Kafka 的 Topic ？ Kafka 的 Topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 Kafka 集群的消息都有一个类别，这个类别就是 Topic。物理上来说，不同的 Topic 的消息是分开存储的，每个 Topic 可以有 ......
Spring Cloud Stream
Spring Cloud Stream 官方文档 用法参考文档 官方代码Demo 事件驱动架构（EDA）是一种软件架构范例。事件生产者和事件消费者是 EDA 的两个主要组成部分。生产者的责任是感知任何状态变化并将该状态呈现为事件消息。生产者不知道谁是该事件的消费者以及该事件的结果是什么。事件的传输将 ......
kafka kafka-ui 单机部署
1. 下载 https://kafka.apache.org/downloads 解压压缩包，以/root/kafka为例 2. 启动zk /root/kafka/bin/zookeeper-server-start.sh /root/kafka/config/zookeeper.propertie ......
Docker安装Kafka安装zookeeper教程(超详细)
1 Docker安装Kafka安装zookeeper教程(超详细) 2 app-tier:网络名称 3 -driver:网络类型为bridge 4 1.docker network create app-tier --driver bridge 5 6 1、安装zookeeper 7 Kafka依赖 ......
SpringCloud Seata【解决分布式事务的问题】安装
SpringCloud Seata【解决分布式事务的问题】安装 1. 问题引出 1.1 单机单库（多表）处理事务示意图 1.2 分布式微服务架构下的数据库事务示意图 图片梳理：用户购买商品的业务逻辑。整个业务逻辑由3个微服务提供支持： 仓库服务：对给定商品 扣除商品数量 订单服务：根据采购需求创建订 ......
redis stream的所有方法以及用处和使用场景
目录一、用途： 将消息添加到 Stream 中。二、用途： 按范围获取消息。三、用途： 阻塞读取消息，支持多个 Stream。四、用途： 创建消费者组。五、用途： 阻塞读取消息并将其分配给消费者组中的消费者。六、用途： 确认消息已被消费。七、用途： 获取待处理的消息列表。八、用途： 删除消息。九、用 ......
【JavaSE】Stream流
Stream作用：简化数组或集合的操作 获取Stream流对象 Stream流中间操作方法 返回值都是Stream流对象，可以链式编程 Stream流终结操作方法 返回值不再是Stream流对象 Stream收集操作 因为Stream流操作不会修改数据源，因此需要收集操作：将Stream流操作后到结 ......
SpringCloud Seata 启动闪退
SpringCloud Seata 启动闪退 查看报错 > 虚拟机启动失败 原因定位【JDK14 丢弃了 cms 垃圾回收器，修改相应的 GC 参数即可】 果报jvm启动失败，是因为启动参数的垃圾回收参数不对，应该是在jdk14之后，已经丢弃了cms垃圾回收器，所以修改相应的垃圾回收器参数即可。 % ......
SpringCloud
简介 SpringCloud和SpringBoot之间有严格的版本对应关系，因此要小心选择版本，应该根据SpringCloud版本选择SpringBoot版本。本次课程选择SpringCloud的Hoxton.SR1版本，SpringBoot采用2.2.2.RELEASE版本，SpringCloud ......
Kafka集群搭建、注意事项及示例
1. 安装Zookeeper： Kafka依赖于Zookeeper来进行集群协调。确保安装了Zookeeper，并配置好。 2.下载和解压Kafka： 从官方网站下载Kafka，并解压到所需的目录。 3.配置Kafka： 修改Kafka的配置文件以适应集群环境。主要修改server.properti ......
Kafka消息丢失该如何处理
消息丢失是一个分布式系统中常见的问题，而Kafka本身有一些内置的机制来减少消息丢失的可能性。下面是一些处理Kafka消息丢失的方法，以及如何使用Java来实现： 1. 使用生产者确认： Kafka生产者可以配置为等待消息被确认的机制。通过配置acks属性，可以设置生产者在接收到多少个副本的确认后才 ......
Kafka与RabbitMQ区别
Kafka和RabbitMQ都是流行的消息传递系统，但它们在设计和用途上有一些重要的区别。以下是它们之间的一些主要区别： 1. 消息传递模型： Kafka：Kafka是一个分布式流处理平台，主要用于处理实时数据流。它采用发布-订阅模型，消息被持久化保存在日志中，允许多个消费者以不同的速率消费消息。 ......
kafka再均衡导致的消息积压分析
起因： 某天，项目组收到大量的kafka消息积压告警。查看了kafka日志后，发现 kafka不断地 rebalance(再均衡)。 Rebalance (再均衡)： 分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为Rebalance (再均衡). 在再均衡期间，消费者无法消费消息，造成 ......
kafka入门(四)：消费者
消费者 (Consumer ) 消费者 订阅 Kafka 中的主题 (Topic) ，并 拉取消息。 消费者群组（ Consumer Group） 每一个消费者都有一个对应的 消费者群组。 一个群组里的消费者订阅的是同一个主题，每个消费者接收主题的一部分分区的消息。 每一个分区 (Partition ......