rabbitmq rocketmq kafka

RabbitMq 消息延迟消费 ``` message.getMessageProperties().setDelay(5000) ``` 死信就是消息在特定场景下的一种表现形式，这些场景包括： 消息被拒绝(basic.reject / basic.nack)，并且requeue = false 消 ......

3.4.0的版本有点不一样，不加 --group，消费者会没有反应，一直消费不到数据，console里也没有任何异常。 kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testkafka --group tes ......

String topic = "test"; TopicPartition partition0 = new TopicPartition(topic, 0); TopicPartition partition1 = new TopicPartition(topic, 1); consumer.as ......

docker 中安装kafka docker 中安装kafka 在安装kafka之前需要先安装zookeeper，因为kafka 启动会将元数据保存在 zookeeper 中，zookeeper是一种分布式协调服务，可以再分布式系统中共享配置，协调锁资源，提供命名服务。 zookeeper 安装 1 ......

1.RabbitMQ的保证消息的稳定性 1.1 消息的可靠投递 在生产环境中由于一些不明原因，导致 rabbitmq 重启，在 RabbitMQ 重启期间生产者消息投递失败，导致消息丢失，需要手动处理和恢复。于是，我们开始思考，如何才能进行 RabbitMQ 的消息可靠投递呢？特别是在这样比较极端的 ......

## RocketMQ 系列(三) 集成 SpringBoot 前两篇文章介绍了 RocketMQ 基本概念与搭建，现在以它与 SpringBoot 的结合来介绍其基本的用法。 - [RocketMQ系列(一) 基本介绍 ](https://www.cnblogs.com/CF1314/p/1766 ......

RabbitMQ 总结：直连模式1v1，work模式抢红包，广播模式公众号，路由模式小团体，Topic模式土豪版小团体rabbitmq常用的五种模型RabbitMQ的五种常用消息模型 ......

Linux系统-部署-运维系列导航 RabbitMQ介绍 RabbitMQ 是使用Erlang语言开发的基于AMQP标准的开源实现，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错 RabbitMQ的特点 1、保证可靠性（Reliability）：使用持久化、传输确认、发布确 ......

Linux系统-部署-运维系列导航 RabbitMQ介绍 RabbitMQ 是使用Erlang语言开发的基于AMQP标准的开源实现，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错 RabbitMQ的特点 1、保证可靠性（Reliability）：使用持久化、传输确认、发布确 ......

[toc] ## 1. Kafka 硬件配置选择 ### 场景说明 100 万日活，每人每天 100 条日志，每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿/24 小时/60 分/60 秒 = 1150 条/每秒钟。 每条日志大小：0.5k - 2k（取 1k）。 1150 ......

连接（Connection）： 连接是消息队列客户端与消息代理（如 RabbitMQ、Kafka 等）之间的网络连接。当客户端应用程序需要与消息代理进行通信时，首先需要建立一个连接。连接是一个低开销的资源，应尽量重用，以避免频繁地建立和断开连接。一个连接可以同时支持多个通道。 通道（Channel） ......

Kafka消息队列的两种模型： 点对点模式： 在点对点模式中，有一个消息生产者（Producer）将消息发送到特定的消息队列（Queue），然后消息消费者（Consumer）从该队列中获取消息。每个消息只能被一个消费者接收，即使有多个消费者监听同一个队列，每条消息也只会被其中一个消费者消费。这种模式 ......

延迟队列是指当消息被发送以后，并不是立即执行，而是等待特定的时间后，消费者才会执行该消息。 延迟队列的使用场景有以下几种： 1. 未按时支付的订单，30 分钟过期之后取消订单。 2. 给活跃度比较低的用户间隔 N 天之后推送消息，提高活跃度。 3. 新注册会员的用户，等待几分钟之后发送欢迎邮件等。 ......

一.环境说明对于 RocketMQ 4.3.0版本，官方要求环境如下，其中 Git 用于从 GitHub 获取源码，没有安装也没关系，可以直接下载推荐的流程是：Linux 系统上安装 Git 工具 、Maven、Java JDKGit 工具用于直接从 GitHub 获取 RocketMQ 项目源码下 ......

什么是幂等性： 无论发送多少次相同的请求，最终的结果都是一致。 问： 那他又是如何保证消息不会被重复发送的？ 答： Kafka 通过 Producer Id（生产者标识符）和 Sequence Number（序列号）来保证消息不会被重复发送。以下是 Kafka 如何实现这一点的工作原理： Produ ......

Linux系统-部署-运维系列导航 kafka-manager介绍 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。 之前叫kafka-manager，现在改名叫CMAK（Cluster Manager for Apa ......

Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了 ......

需求： 监控rabbitmq总消息数量，设置阈值，自动发送邮件提醒 效果： 检测到问题，邮件已发送： 参考连接： linux，centSO搭建zabbix：https://blog.csdn.net/zhang_Darling/article/details/131745748 https://bl ......

## 前言 ``` // 处理成功 false 表示不批量处理，批量处理容易丢失信息,消息会被rabbitmq broker 删除。 channel.basicAck(envelope.getDeliveryTag(), false); // 处理失败 重新入队 channel.basicNack( ......

1.MQ知识扩充 1.1 什么是MQ消息中间件 MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法 1.2 为什么使用MQ 【注：在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了 ......

> 有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准`https://blog.zysicyj.top` [首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文 ......

问： 当某个 topic 的分区数发生变化时，之前已经写入的消息可能会被重新分配到不同的分区中。这里说是不是消息已经分配到分区中，在分区数变化后，也会重新分配 答： 是的，当某个 Kafka 主题（topic）的分区数发生变化时，已经写入该主题的消息可能会被重新分配到不同的分区中。这是因为Kafka ......

问： 会影响到消息的准确性吗？ 答： 分区数的变化通常不会直接影响消息的准确性，因为 Kafka 的分区机制旨在提供消息的持久性和可靠性。消息在写入分区时会被持久化，并且 Kafka 会确保消息不会丢失。但是，分区数的变化可能会对消息的处理和消费产生一些间接影响，可能会导致消息被重新分配到不同的分区 ......

问： 如果是使用消息键保证顺序性，当重新分区后，相同key的消息顺序会改变吗？ 答： 使用消息键（Message Key）可以确保具有相同键的消息被写入到同一个分区中，从而在分区内保持消息的顺序性。这意味着只要相同键的消息始终被写入相同的分区，它们的顺序就会得到保持。 然而，当分区数发生变化时，可能 ......

1.模型 2.消息模型 RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。Broker 在实际 部署过程中对应一台服务器，每个 Broker 可以存储多个Topic的消 ......

1.如何保证消息队列的高可用啊？ RabbitMQ是比较有代表性的，因为是基于主从做高可用性的，我们就以他为例子讲解第一种MQ的高可用性怎么实现。 rabbitmq有三种模式：单机模式，普通集群模式，镜像集群模式 (1)单机模式 (2)普通集群模式 意思就是在多台机器上启动多个rabbitmq实例， ......

## 前言 在之前的发布确认中，生产者发送消息到mq中，消费者在从mq中取出消息满足持久化的. 发布确认是一个保证RabbitMQ 可靠性的一个机制 保证生产者将信息成功的发送到 RabbitMQ的 server端了，那么broker就会回一个确认，如果没有收到或者收到拒绝信息，那么说明可能网络不好 ......

1. 安装Socat 在线安装依赖环境： yum install gcc ​ yum install socat ​ yum install openssl yum install openssl-devel 2. 安装Erlang Erlang百度云盘资源链接安装包 提取码：6666 ​ mkdi ......

Kafka 3.x，Kraft模式，账号密码方式，SASL+PLAINTEXT+SCRAM 认证授权，用户的分类，命令行创建用户，查看账号信息，认证授权的配置，将账号授权到Topic，写入与读取的权限，创建用户凭证，以用户凭证连接到Kafka，.NET用户凭证接入。 ......

1.下载版本 2.解压 unzip 3.配置环境变量 export ROCKETMQ_HOME=/opt/software/rocketmq-all-4.9.1-bin-release export PATH=$PATH:$ROCKETMQ_HOME/bin 4.nameserver服务的创建 修改 ......