rabbitmq rocketmq kafka
RocketMQ 为什么会丢消息，如何保证消息不丢失
Producer 丢消息 1.同步发送 RocketMQ发送消息有三种模式，即同步发送，异步发送、单向发送。 同步发送消息时会同步阻塞等待Broker返回发送结果，如果发送失败不会收到发送结果SendResult,这种是最可靠的发送方式。 异步发送消息可以在回调方法中得知发送结果。 单向发送是消息发 ......
彻底搞懂Docker容器与Kraft模式kafka集群关于消息大小相关参数设置
Docker部署的设置 部署背景： 在DockerHub拉取的bitnami/kafka:3.4.1 镜像，如果要部署在Docker-Swarm集群或者单Docker部署，对于消息大小设置需要添加参数 KAFKA_CFG_MESSAGE_MAX_BYTES，如何设置为其他不符合规范的参数格式，会导致 ......
从一次Kafka宕机说起（JVM hang）
一、背景 时间大概是在夏天7月份，突然收到小伙伴的情报，我们线上的一个kafka实例的某个broker突然不提供服务了，也没看到什么异常日志，反正就是生产、消费都停了。因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧 因为这个现象是第一次出现，不确定是 ......
springboot连接rabbitmq网络异常时，不能自动重连的问题
在rabbitmq官网的java api处：https://www.rabbitmq.com/api-guide.html#recovery介绍了java连接rabbitmq异常恢复的问题。其中提及了如下内容 As of version 4.0.0 of the Java client, autom ......
Prometheus监控RocketMQ
本文基于官方提供的RocketMQ Exporter来监控RocketMQ集群 1.Broker TPS/QPS的监控 2.消息积压监控 3.消费组消费演示监控 最终的Grafana面板效果图如下： 楼主RocketMQ环境是三主三从集群（只要在其中一台部署监控即可） 配置步骤 1.安装Rocket ......
【漏洞复现】Apache RocketMQ 代码注入漏洞（CVE-2023-37582）
产品介绍 Apache RocketMQ是美国阿帕奇（Apache）基金会的一款轻量级的数据处理平台和消息传递引擎。 漏洞概述 Apache RocketMQ 存在代码注入漏洞，该漏洞源于当 NameServer 地址在外网泄露且缺乏权限验证时，NameServer 组件仍然存在远程命令执行漏洞，在 ......
golang + rabbitmq 死信队列
生产者 package main import ( "fmt" "github.com/streadway/amqp" "strconv" "time" ) // 启动生产者，n秒之内，如果consume没有消费，那么就会被die-死信队列消费 func main() { // # 1.创建连接 m ......
【RocketMQ】RocketMQ 5.0新特性（三）- Controller模式
在RocketMQ 5.0以前，有两种集群部署模式，分别为主从模式（Master-Slave模式）和Dledger模式。 主从模式 主从模式中分为Master和Slave两个角色，集群中可以有多个Master节点，一个Master节点可以有多个Slave节点。Master节点负责接收生产者发送的写入 ......
Kafka 入门教程
Kafka是分布式发布-订阅消息系统,它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。在Kafka集群中，没有“中心主节点”的概念，集群中所有的服务器都是对等的，因此，可以在不做任何配置的更改的情况下实现服务器的的添加与删除，同样的消息的生产者和 ......
Kafka：用于日志处理的分布式消息系统
周末躺不平，摆不烂，卷不动，随便读一篇paper吧 原文：Kafka: a Distributed Messaging System for Log Processing 作者：Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
Springboot中使用RabbitMq
代码地址： https://gitee.com/Aes_yt/middleware-demo/tree/master/rabbitmq 安装RabbitMq 1. docker拉取镜像 docker pull rabbitmq:3.9.29-management 2. 创建rabbitmq容器 do ......
rabbitmq延时消息不准确，不是丢失，而是给延后了
以下内容来源于：https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/issues/72 Delay interval predictability We have noticed a general issue with the ......
RabbitMQ详解
RabbitMQ是一个开源的消息中间件，采用AMQP协议来实现消息的生产、消费和路由。它主要由以下几个组件构成： Producer：消息生产者，即发送消息的应用程序。 Exchange：消息交换机，用于接收生产者发送的消息，并将其路由到对应的队列中。 Queue：消息队列，用于存储消息，等待消费者来 ......
kafka 消费报错
具体报错信息Traceback (most recent call last): File "/root/kafkatomysql.py", line 166, in <module> consumer.commit() File "/usr/local/python3.9/lib/python3. ......
博学谷学习记录 自我总结 用心分享 | RocketMQ刨析
RocketMQ是一个分布式开放消息中间件，底层基于队列模型来实现消息收发功能。RocketMQ集群中包含4个模块：Namesrv, Broker, Producer, Consumer。 主要功能 削峰填谷(主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题) 系统解耦(解决不同重要程 ......
博学谷学习记录 自我总结 用心分享 | Kafka刨析
基本概念 Kafka 体系架构 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群。 在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。 Kafka 中的消息以主题为单位进行归类，生产 ......
博学谷学习记录 自我总结 用心分享 | RabbitMQ刨析
一、什么是消息队列 消息指的是两个应用间传递的数据。数据的类型有很多种形式，可能只包含文本字符串，也可能包含嵌入对象。 “消息队列(Message Queue)”是在消息的传输过程中保存消息的容器。在消息队列中，通常有生产者和消费者两个角色。生产者只负责发送数据到消息队列，谁从消息队列中取出数据处理 ......
【RocketMQ】RocketMQ 5.0新特性（二）- Pop消费模式
Pop模式消费和消息粒度负载均衡 在RocketMQ 5.0之前，消费有两种方式可以从Broker获取消息，分别为Pull模式和Push模式。 Pull模式：消费需要不断的从阻塞队列中获取数据，如果没有数据就等待，这个阻塞队列中的数据由消息拉取线程从Broker拉取消息之后加入的，所以Pull模式下 ......
大白话教你认识 Kafka，背后原理竟能秒懂 转载
一、Kafka 基础 消息系统的作用 应该大部份小伙伴都清楚，用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画 ......
Canal同步订阅mysql的binglog数据并对接rabbitmq
canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议,mysql master收到dump请求，开始推送binary log给slave(也就是canal),canal解析binary log对象(原始为byte流)。本文介绍如 ......
Kafka服务报UnknownHostException解决办法
问题描述 启动需要连接kafka服务的项目，报如下错误 09:57:01.336 [http-nio-8085-exec-3] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-group-1, gro ......
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？ - TDengine | 涛思数据 (taosdata.com) TDengine是一高效的时序空间大数据处理引擎，因为充分利用物联网、车联网、工业互联网等场景的数据特点并做了很多优化，因此性能上远胜通 ......
RabbitMQ的名词
Broker：接收和分发消息的应用，RabbitMQ Server 就是 Message Broker Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似 于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ se ......
k8s install rabbitmq
1 kubectl apply -f "https://github.com/rabbitmq/cluster-operator/releases/latest/download/cluster-operator.yml" 2 kubectl apply -f https://raw.githubu ......
RabbitMQ消息可靠性保障
消息丢失的情况 publisher 在往rabbitmq发送消息时，可能由于网络问题导致消息丢失 rabbitmq在投递消息时，找不到匹配的队列消息时，可能导致消息丢失，rabbitmq队列存储消息在未push给消费者之前，如果服务器故障可能导致消息丢失 rabbitmq在将消息push给消费者时， ......
.net fromwork连接rabbitmq发布消息
1、创建连接工厂类 var factory = new RabbitMQ.Client.ConnectionFactory() { HostName = "120.237.72.46", UserName = "admin", Password = "admin", Port = 5672, Vir ......
RocketMQ为什么要保证订阅关系一致
这篇文章，笔者想聊聊 RocketMQ 最佳实践之一：保证订阅关系一致。 订阅关系一致指的是同一个消费者 Group ID 下所有 Consumer 实例所订阅的 Topic 、Tag 必须完全一致。 如果订阅关系不一致，消息消费的逻辑就会混乱，甚至导致消息丢失。 1 订阅关系演示 首先我们展示正确 ......
RabbitMQ消息丢失的场景，MQ消息丢失解决方案
第一种：（生产者）生产者弄丢了数据。生产者将数据发送到 RabbitMQ 的时候，可能数据就在半路给搞丢了，因为网络问题啥的，都有可能。 第二种：（服务端）RabbitMQ 弄丢了数据。MQ还没有持久化自己挂了 第三种：（消费者）消费端弄丢了数据。刚消费到，还没处理，结果进程挂了，比如重启了。 1. ......
RabbitMq DLX 实现延迟队列
我们可以把死信队列就当成延迟队列。 具体来说是这样： 假如一条消息需要延迟 30 分钟执行，我们就设置这条消息的有效期为 30 分钟，同时为这条消息配置死信交换机和死信 routing_key，并且不为这个消息队列设置消费者，那么 30 分钟后，这条消息由于没有被消费者消费而进入死信队列，此时我们有 ......