rabbitmq rocketmq kafka
Rabbitmq消息队列：Topic话题模式简单应用
一、生产者 声明topic话题模式的交换机，分别发送几条消息到不同的路由key。 package test.topic; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import utils.R ......
Kafka反序列化RCE漏洞（CVE-2023-34040）
Spring Kafka 是 Spring Framework 生态系统中的一个模块，用于简化在 Spring 应用程序中集成 Apache Kafka 的过程，记录 (record) 指 Kafka 消息中的一条记录。这一个漏洞所影响的组件其实是 Spring-Kafka，严格意义上来说并不算是 ... ......
Rabbitmq消息队列：Route路由模式简单应用
一、生产者 在发布订阅模式的代码基础上，进行一定的调整，将声明交换机的路由模式调整为direct路由模式。 这个时候需要用到路由key，类似于给消息用来分类的标签。 分别发送三条消息，发向GetOne、GetTwo和GetThree三个路由key： //声明交换机(类型direct->路由模式) c ......
Rabbitmq消息队列：Publish/Subscribe模式简单应用
一、生产者 package test.publish; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import utils.RabbitmqConUtil; public class Give ......
Kafka：消费者的offset
auto.offset.reset latest（默认） 已有一个消费者groupId=ClientConsumer，消费消息到最新位置，然后停止消费。 启动生产者生产一定数量消息，然后停止生产。 接着启动消费者，设置 auto.offset.reset=latest 结果：消费者从上次消费位置接着 ......
Rabbitmq消息队列：Work模式简单应用
一、生产者 直接使用HelloWorld模式下的应用案例依赖和代码，将生产者Give类拷贝一份。 将发送消息部分调整为遍历发送，连发10次： //遍历发送多条消息 for (int i = 0; i < 10; i++) { //发送内容 channel.basicPublish("",QUEUE, ......
Rabbitmq消息队列：HelloWorld模式简单应用
一、引入依赖 新建一个maven项目，在pom.xml配置文件中加入以下依赖。 <dependencies> <dependency> <groupId>com.rabbitmq</groupId> <artifactId>amqp-client</artifactId> <version>4.5. ......
使用 Docker Compose 部署 RabbitMQ 的一些经验与踩坑记录
前言 特点 成熟，稳定 消息持久化 灵活的消息路由 高性能，高可用性，可扩展性高 支持插件系统：RabbitMQ 具有丰富的插件系统，可以通过安装插件来扩展其功能，例如管理界面、消息追踪、消息转换等。 ......
【RabbitMQ】- 延迟队列
https://blog.csdn.net/ls199848/article/details/131357540 打开网页，找到交换机，点击添加新交换机，点击Typr选项，如果有对应的x-delayed-message选项则说明插件安装成功 总结延时队列在需要延时处理的场景下非常有用，使用 Rab ......
Kafka的部分初始化参数的学习与整理
Kafka的部分初始化参数的学习与整理 背景 前段时间跟同事一起处理过kafka的topic offset的retention 时间与 log 的retention时间不一致. 导致消息还有, 但是offset 没有, 导致重复消费的问题. 发现很多产品其实参数很复杂, 不能只看一个参数就立马进行修 ......
kafka可视化管理：Kafka Manager
需求 虽然kafka server有命令行工具管理kafka，但必须登录到kafka server主机上，觉得不是特别方便。 希望在web界面可以管理kafka需求就来了，查到几个管理kafka管理工具，觉得kafka manager还不错。 该管理工具基本上可以满足我的需求： 1）管理kafka ......
linux 安装rabbitmq流程记录
Linux系统：CentOS7.x （如果是CentOS8.x的话，需要修改下面两个环境版本号中的el7为el8） Erlang：erlang-22.3.4.12-1.el7.x86_64.rpm RabbitMQ：rabbitmq-server-3.8.13-1.el7.noarch.rpm 1 ......
Kafka基本原理、生产问题总结及性能优化实践
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流... ......
Flink消费kafka数据同步问题排查
Flink消费kafka数据同步问题排查 https://mp.weixin.qq.com/s/EZbCKHBI_JrsF0yJndhe8Q Flink消费kafka数据同步问题排查 原创 任天兵 哈啰技术 2023-10-31 17:31 发表于上海 我们有一个flink任务，消费的kafka的数 ......
Rabbitmq消息队列：linux服务器上部署Rabbitmq服务
一、服务器安装中间件 此处使用的是CentOS 7系统。 1、安装Erlang运行环境 下载安装包： wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm 安装相关的依赖（不安装依赖而直接安装erla ......
kafka了解多少，遇到哪些故障，怎么解决的？
作为一种分布式消息队列，Kafka 在实际应用中也可能遇到各种故障，下面列举几种常见的情况和解决方案： 1. 节点宕机 当 Kafka 集群中的某个节点宕机时，可能导致数据不一致、数据丢失等问题。解决方案建议使用多副本机制，即在各个节点之间进行数据的同步和复制，保证集群中的节点宕机时，数据不会丢失。 ......
Kafka-生产者性能调优
（一）参数调优 参数调优相关代码 在实际的kafka开发中，我们会发现，无论是生产者还是消费者，都需要构建一个Properties对象，里面设置了很多参数。在这段代码中有很多常用的参数配置，在线上使用时，我们要根据实际的数据量和数据大小来决定这些配置的具体值。 Properties props = ......
Kafka-生产者、broker、消费者的调优参数总结
生产环境下，为了尽可能提升Kafka的整体吞吐量，可以对Kafka的相关配置参数进行调整，以达到提升整体性能的目的。 本文主要从Kafka的不同组件出发，讲解各组件涉及的配置参数和参数含义。 一、生产者（producer.properties或者代码中） 1、acks：Producer需要Leade ......
RabbitMQ安装——window10 64位
一、下载并安装erlang环境 RabbitMQ是由erlang编程语言开发的消息队列，因此需要在电脑上安装erlang的环境。 1、官网下载erlang环境 在RabbitMQ的最新版本详情页面RabbitMQ Project Announcements — RabbitMQ查看最新版本支持的er ......
rabbitmq Could not find handle.exe, please install from sysinternals
报错：Could not find handle.exe, please install from sysinternals 这是由于rabbitmq 调用 windows系统中handle.exe，但是handle.exe缺失而导致的错误。 解决方案： 下载 https://learn.micro ......
Kafka基础学习笔记
一、Kafka： 1、简介： Kafka是由Apache开源，具有分布式、分区的、多副本的、多订阅者，基于Zookeeper协调的分布式处理平台，由Scala和Java语言编写。最大的特性就是可以实时并高速的处理大量数据来满足需求，同时对消息数据进行持久化存储。 2、优点： Kafka与其他消息队列 ......
kafka代码实践
安装kafka： Windows安装kafka, 详情见：https://blog.csdn.net/sinat_32502451/article/details/133067851 Linux 安装kafka，详情见：https://blog.csdn.net/sinat_32502451/art ......
kafka代码示例
安装kafka： Windows安装kafka, 详情见：https://blog.csdn.net/sinat_32502451/article/details/133067851 Linux 安装kafka，详情见：https://blog.csdn.net/sinat_32502451/art ......
RabbitMQ 插件控制界面
目录overviewConnectionsChannelsExchanges 交换机Queuesadmin 大佬文章，请优先查看！！！ RabbitMQ 控制界面详解 overview Connections Channels Exchanges 交换机 Queues admin ......
Kafka 在分布式系统中的 7 大应用场景
Kafka 介绍 Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log）， ......
rabbitmq+mqtt+docker-compose搭建MQTT服务器和.netcore 客户端实现 订阅+发布
转自：https://blog.csdn.net/oopxiajun2011/article/details/130658329 1 搭建MQTT服务器 1.1 Dockerfile 内容 1 FROM rabbitmq:3.11.6-management 2 COPY install_rabbit ......
K8s - 安装部署Kafka、Zookeeper集群教程（支持从K8s外部访问）
本文演示如何在K8s集群下部署Kafka集群，并且搭建后除了可以K8s内部访问Kafka服务，也支持从K8s集群外部访问Kafka服务。服务的集群部署通常有两种方式：一种是 StatefulSet，另一种是 Service&Deployment。本次我们使用 StatefulSet 方式搭建 Zoo ......
kafka基于SCRAM认证，快速配置启用ACL
启动和停止服务 zookeeper /usr/local/apache-zookeeper-3.8.2-bin/bin/zkServer.sh start /usr/local/apache-zookeeper-3.8.2-bin/bin/zkServer.sh stop kafka /usr/lo ......
kafka-ACL
本文档时在centos7直接部署添加认证的kafka文件基础上，做下面的修改实现ACL访问控制topic 参考：https://www.seaxiang.com/blog/Qpsqii 一. 添加多个kafka用户及相关的配置文件 1.kafka_server_jaas.conf KafkaServ ......
helm部署kafka鉴权以及ACL
官方文档 https://github.com/bitnami/charts/tree/main/bitnami/kafka https://blog.csdn.net/u011618288/article/details/129105777 (包含zookeeper与broker认证、鉴权流程) ......