rabbitmq rocketmq kafka
kafka_demo
参考： 概念：https://zhuanlan.zhihu.com/p/74063251 代码运用：https://zhuanlan.zhihu.com/p/114209326 参考 kafka 在windows 平台的搭建和简单实用_一代键客的博客-CSDN博客，先验证本地是否能使用kafka成功 ......
python调用RabbitMQ
> 本文不涉及较难的操作，仅仅提供 常用的生产消息和消费消息的方式。 > \-- 好像也没啥花里胡哨的操作 # 1、准备 想要python调用rabbitMQ需要安装`pika`,所有需要提前安装好`pika`包 ```python # 全局 pip install pika; # 如果用的anac ......
RabbitMQ延迟队列，死信队列配置
##### 延迟和死信队列的配置 - 延迟队列有效期一分钟，后进入死信队列，如果异常就进入异常队列 ``` @Configuration @Data public class RabbitMQConfig { /** * 交换机 */ private String orderEventExchang ......
谈谈 Kafka 的幂等性 Producer
使用消息队列，我们肯定希望不丢消息，也就是消息队列组件，需要保证消息的可靠交付。消息交付的可靠性保障，有以下三种承诺： - 最多一次（at most once）：消息可能会丢失，但绝不会被重复发送。 - 至少一次（at least once）：消息不会丢失，但有可能被重复发送。 - 精确一次（exa ......
kafka内外网配置
内网网段不通的主机 分别给kafka配置不同网段的监听 broker.id=70 listener.security.protocol.map=INTERNAL:SASL_PLAINTEXT,EXTERNAL:SASL_PLAINTEXT #SASL_PLAINTEXT 表示需要先经过安全认证,如果 ......
kafka权威指南（阅读摘录）
 #### 零复制 Kafka 使用零复制技术向客户端发送消息——也就是说，Kafka 直接把消息从文件（或者更确切地 ......
rabbitmq添加集群高可用
10.20.4.176机器sudo docker run -d --hostname rabbitmq1 --add-host=rabbitmq2:10.20.4.177 --add-host=rabbitmq3:10.20.4.178 --restart=unless-stopped --name ......
kratos项目中使用kafka实现延迟队列
项目地址 https://gitee.com/huoyingwhw/kratos_kafka B站视频地址 B站视频地址——kratos项目中使用kafka实现延迟队列 ......
Kafka - Kafka v.s. NATS v.s. RabbitMQ
Kafka v.s. RabbitMQ 优先选择Kafka的条件 ·严格的消息顺序 ·延长消息留存时间，包括过去消息重放的可能 ·传统解决方案无法满足的高伸缩能力 优先选择RabbitMQ的条件 ·高级灵活的路由规则 ·消息时序控制（控制消息过期或消息延迟） ·高级的容错处理能力，在消费者更有可能处 ......
RabbitMQ（五）延时队列及其在分布式事务的使用场景
### RabbitMQ（五）延时队列 延时队列的使用场景： - 未支付订单，超过一段时间后，系统自动取消订单并释放占有物品 - 锁定库存一段时间后，检查订单不存在或者被取消，则解锁库存 #### 1 定时任务存在的问题 如果使用Spring Schedule定时轮询数据库，则 - 消耗系统 ......
rabbitmq安装
按照官网步骤安装 1.执行成功 sudo apt-get install curl gnupg apt-transport-https -y 2.下面三个都执行失败 ## Team RabbitMQ's main signing key curl -1sLf "https://keys.openpg ......
RabbitMQ - 生产者发布确认模式
在消息队列系统中，生产者负责发送消息到消息队列中，而消费者负责从消息队列中接收并处理消息。在生产者发布消息时，为了确保消息被成功发送到消息队列，可以使用生产者发布确认模式。该模式允许生产者在消息被确认（即成功接收）或者未确认（发送失败）时得到通知，从而确保消息的可靠性。 主要步骤如下： 连接到Rab ......
Apache RocketMQ 远程代码执行漏洞（CVE-2023-33246）
RocketMQ 5.1.0及以下版本，在一定条件下，存在远程命令执行风险。RocketMQ的NameServer、Broker、Controller等多个组件外网泄露，缺乏权限验证，攻击者可以利用该漏洞利用更新配置功能以RocketMQ运行的系统用户身份执行命令。 此外，攻击者可以通过伪造 Roc... ......
RocketMQ 在业务消息场景的优势详解
RocketMQ 5.0 是消息事件流一体的实时数据处理平台，是业务消息领域的事实标准，很多互联网公司在业务消息场景会使用 RocketMQ。 ......
windows环境下安装RabbitMQ
一、RabbitMq简介1.1消息队列中间件简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ（安全），RabbitMQ，ZeroMQ，Kafka（大数据），MetaMQ，Roc ......
RabbitMQ 快速入门
https://www.cnblogs.com/PatrickLiu/tag/RabbitMQ/ RabbitMQ 快速入门 https://www.cnblogs.com/sgh1023/category/1507545.html ......
go操作kafka
# go操作kafka 1. ZooKeeper是一个分布式协调服务，它的主要作用是为分布式系统提供一致性服务，提供的功能包括：配置维护、命名服务、分布式同步、组服务等。Kafka的运行依赖ZooKeeper。目前kafka3.2.0以上版本（[kafka_2.13-3.2.0.tgz](https ......
Windows启动RocketMQ
新增环境变量 新增环境变量ROCKETMQ_HOME 解压文件放置的目录，注意这个目录的下一级是有bin文件夹的，而不是还有一级rocketmq目录 启动mqnameserver服务 start mqnamesrv.cmd ## 指定ip start mqnamesrv.cmd -n 1 ......
RocketMq消费原理及源码解析
消费原理概览 先简单说下常见的rocketMq的部署方式，上图中broker为真正计算和存储消息的地方，而nameServer负责维护broker地 图中右侧consume message部分即是本文重点描述的部分，主要分为ConsumerGroup和Consumer，consumerGroup可以 ......
Apache RocketMQ 远程代码执行漏洞（CVE-2023-37582）
Apache RocketMQ是一款低延迟、高并发、高可用、高可靠的分布式消息中间件。CVE-2023-37582 中，由于对 CVE-2023-33246 修复不完善，导致在Apache RocketMQ NameServer 存在未授权访问的情况下，攻击者可构造恶意请求以RocketMQ运行的系... ......
Kafka HW和LEO
[TOC] # 基本概念 ## LEO **LEO（log end offset）** 称为**日志末端位移**，代表日志文件中下一条待写入消息的 offset，这个 offset 上实际是没有消息的。 分区 ISR 集合中的每个副本（所有的 leader 和 follower 副本）都会维护自身的 ......
RabbitMQ配置和实战
##### 依赖引入 ```xml org.springframework.boot spring-boot-starter-amqp ``` ##### application.xml ``` spring: ## rabbit配置 rabbitmq: host: 192.168.75.146 p ......
RocketMQ学习
rabbitMQ（ons）特性 0拷贝 顺序写盘 随机读 延迟消息 事务消息 顺序消息 （rabbit没有这个） 基于netty nio框架 NameServer代替Zookeeper，寻址方式，更轻量级。 集群架构无单点，扩展性强。 消息重试机制，消息查询（rabbit不支持重试） 社区活跃、成熟 ......
运行 docker-compose -f common.yml -f kafka_cluster.yml up 命令之后，其中一个broker容器未启动，原因是什么？
今天在运行 docker-compose -f common.yml -f kafka_cluster.yml up ，这条命令的时候，原来应该启动的broker-3容器没有启动，然后允许docker ps -a 查看存在但是没有up的容器。 找到broker-3的容器id:，docker logs ......
执行Kafka Topic创建操作，发现Partition的Leader显示为none
问题背景与现象 在使用Kafka客户端命令创建Topic时，发现创建Topic Partition的Leader显示为none。 [root@10-10-144-2 client]# kafka-topics.sh --create --replication-factor 1 --partitio ......
RabbitMQ - MQ幂等、去重的解决方案
1.场景描述消息中间件是分布式系统常用的组件，无论是异步化、解耦、削峰等都有广泛的应用价值。我们通常会认为，消息中间件是一个可靠的组件——这里所谓的可靠是指，只要我把消息成功投递到了消息中间件，消息就不会丢失，即消息肯定会至少保证消息能被消费者成功消费一次，这是消息中间件最基本的特性之一，也就是我们 ......
Topic太多，RocketMQ炸了！
网上博客常说，kafka的topic数量过多会影响kafka，而RocketMQ不会受到topic数量影响。 但是，果真如此吗？ 最近排查一个问题，发现RocketMQ稳定性同样受到topic数量影响！！ 好了，一起来回顾下这次问题排查吧，最佳实践和引申思考放在最后，千万不要错过。 1、问题描述 我 ......
rabbitmq学习
rabbitmq学习，rabbitmq教程，rabbitmq安装 作用： 1、削蜂， 2、解耦 3、异步处理 核心概念： 交换机、队列、信道 官网网址:https://www.rabbitmq.com/download.html docker安装： docker run -it --rm --nam ......
.NET中使用RabbitMQ延时队列和死信队列
# RabbitMQ延时队列和死信队列 # 延时队列和死信队列 > 延时队列是RabbitMQ中的一种特殊队列，它可以在消息到达队列后延迟一段时间再被消费。 > > 延时队列的实现原理是通过使用消息的过期时间和死信队列来实现。当消息被发送到延时队列时，可以为消息设置一个过期时间，这个过期时间决定了消 ......
从互联网到云时代，Apache RocketMQ 是如何演进的？
*作者：隆基* 2022 年，RocketMQ 5.0 的正式版发布。相对于 4.0 版本而言，架构走向云原生化，并且覆盖了更多业务场景。 ## 消息队列演进史 操作系统、数据库、中间件是基础软件的三驾马车，而消息队列属于最经典的中间件之一，已经有 30 多年的历史。消息队列的发展主要经历了以下几个 ......