RocketMQ

RocketMQ 顺序消费机制

顺序消息是指对于一个指定的 Topic ,消息严格按照先进先出(FIFO)的原则进行消息发布和消费,即先发布的消息先消费,后发布的消息后消费。 顺序消息分为**分区顺序消息**和**全局顺序消息**。 **1、分区顺序消息** 对于指定的一个 Topic ,所有消息根据 Sharding Key 进 ......
顺序 RocketMQ 机制

RocketMQ

单机运行:运行nameserver:bin/mqnamesrv运行broker:export NAMESRV_ADDR=localhost:9876 bin/mqbroker -n localhost:9876 启动脚本中为jvm分配8g内存,可能造成无法启动,改小一些即可 命令行发送接收消息: e ......
RocketMQ

【RocketMQ】NameServer总结

NameServer是一个注册中心,提供服务注册和服务发现的功能。NameServer可以集群部署,集群中每个节点都是对等的关系(没有像ZooKeeper那样在集群中选举出一个Master节点),节点之间互不通信。 **服务注册** Broker启动的时候会向所有的NameServer节点进行注册, ......
NameServer RocketMQ

容器化部署单机版本RocketMQ

## 容器化部署单机版本RocketMQ - 测试环境数据、日志懒得挂出来了 - /home/rocketmq/rocketmq-4.9.4/conf/ docker cp一份文件 ```sh docker run --name name_server \ --restart=always \ -p ......
容器 单机 RocketMQ 版本

单机部署RocketMQ

### 一、下载安装包 - 操作系统 centos7.6 - jdk1.8以上 ```sh # wget下载 wget https://archive.apache.org/dist/rocketmq/4.9.5/rocketmq-all-4.9.5-bin-release.zip ``` ### ......
单机 RocketMQ

cloud alibaba 学习 之 rocketmq

rocketmq有三种消息发送模式: 1.同步发送 需要等待broker回应 /** * 同步消息发送 */ @Test public void testSyncSend() { // param1: topic; 若添加tag: topic:tag // param2: 消息内容 SendResu ......
rocketmq alibaba cloud

RocketMQ 在小米的多场景灾备实践案例

支持机房灾备需要增加额外的成本,下面我将用三个灾备部署的实践案例,讲解小米如何在成本和可用性的取舍上去支持灾备。 ......
小米 RocketMQ 场景 案例

RocketMQ

RocketMQ背景是阿里巴巴,经历双11考验,Java语言编写,非常好完整体系 1、支持事务消息(实现解决分页式事务的问题) 2、支持高并发顺序消息处理(采用内存队列+多线程处理) 3、消费者支持tag过滤,减少我们带宽传输 RocketMQ关键核心名称: NameServer: 存放生产者、消费 ......
RocketMQ

docker 部署 RocketMQ

1.安装nameServer 1. 搜索镜像 docker search rocketmq 2. 拉取镜像 docker pull rocketmqinc/rocketmq 3. 创建数据目录 mkdir -p /usr/local/software/rocketmq/nameserver/logs ......
RocketMQ docker

linux之docker安装RocketMQ

一、创建namesrv容器 docker pull rocketmqinc/rocketmq mkdir -p /docker/rocketmq/data/namesrv/logs /docker/rocketmq/data/namesrv/store docker run -d \ --resta ......
RocketMQ docker linux

最高等级!Apache RocketMQ 入选可信开源项目星云象限领导型象限

2023 年 4 月 21 日,由中国信通院主办的 OSCAR 开源生态建设论坛在北京成功召开。本次论坛,中国信通院发布了可信开源项目星云象限。星云象限依托于可信开源项目指数中流行度、参与度、响应度、安全能力和法律合规五个指标,从项目可持续性与可信性两个维度,将可信开源共同体项目分为四个阶段,分别为 ......
象限 星云 可信 RocketMQ 等级

SpringBoot整合RocketMQ

1 整合RocketMQ 点击了解RocketMQ原理 1.1 相关配置 1.1.1 pom.xml 引入相关依赖 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter ......
SpringBoot RocketMQ

RocketMQ源码(一):源码环境搭建

一、源码地址下载 RocketMQ官网下载地址:https://github.com/apache/rocketmq/tags。 当前搭建的是4.8.0版本的rocketmq,下载zip压缩包至本地,并解压。 当解压后的RocketMQ源码导入IDEA。 二、源码环境搭建 1、启动NameServe ......
源码 RocketMQ 环境

SpringBoot集成RocketMQ

添加pom.xml依赖 <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifactId> <version>2.2.3</version> </depen ......
SpringBoot RocketMQ

RocketMQ之事务消息

一、概述 Apache RocketMQ在4.3.0版中已经支持分布式事务消息,通过消息的异步事务,可以保证本地事务和消息发送同时执行成功或失败,从而保证了数据的最终一致性。 二、案例 根据官方提供的例子,TransactionProducer.java如下: public class Transa ......
RocketMQ 事务 消息

RocketMQ之管理与监控

前言 首先提出我们的监控诉求,出现如下情况时,希望能够及时接收到系统告警通知: RocketMQ服务宕机 RocketMQ消费者下线 RocketMQ消息出现长时间或者大量堆积 本文将通过修改rocketmq-console源码的方式,增加RocketMQ消费者下线和RocketMQ消息出现长时间或 ......
RocketMQ

RocketMQ之消息发送源码分析

一、概述 负责生产消息,一般由业务系统负责生产消息。一个消息生产者会把业务应用系统里产生的消息发送到broker服务器。 RocketMQ支持三种消息发送方式: 同步消息发送(sync):当Producer发送消息到Broker时会同步等待消息处理结果; 异步消息发送(async):当Produce ......
源码 RocketMQ 消息

RocketMQ之消息接收源码分析

一、概述 对于任何一款消息中间件而言,消费者客户端一般有两种方式从消息中间件获取消息并消费: Push方式:由消息中间件(MQ消息服务器代理)主动地将消息推送给消费者;采用Push方式,可以尽可能实时地将消息发送给消费者进行消费。但是,在消费者的处理消息的能力较弱的时候(比如,消费者端的业务系统处理 ......
源码 RocketMQ 消息

RocketMQ之水平扩展及负载均衡

前言 RocketMQ是一个分布式具有高度可扩展性的消息中间件。本文旨在探索在broker端,生产端,以及消费端是如何做到横向扩展以及负载均衡的。 NameServer集群 提供轻量级的服务发现和路由。每个NameServer 记录完整的路由信息,提供等效的读写服务,并支持快速存储扩展。 就是一个注 ......
RocketMQ 水平

RocketMQ单机版安装

1、下载最新的安装包 github下载地址:https://github.com/apache/rocketmq/releases。本文安装版本为:rocketmq-all-5.1.0-bin-release.zip 2、安装JDK 3、上传并解压安装包 # 从本地电脑上传安装包到Linux服务器 ......
单机版 单机 RocketMQ

RocketMQ之消息轨迹

一、概述 消息轨迹是用来跟踪记录消息发送、消息消费的轨迹。 如何启用消息轨迹? broker端 需要在broker端的配置文件中添加配置项:traceTopicEnable=true,注意:对于消息轨迹数据量较大的场景,可以在RocketMQ集群中选择其中一个Broker节点专用于存储消息轨迹,使得 ......
轨迹 RocketMQ 消息

RocketMQ之通信机制

一、概述 RocketMQ消息队列集群主要包括NameServer、Broker(Master/Slave)、Producer、Consumer4个角色,基本通讯流程如下: Broker启动后需要完成一次将自己注册至NameServer的操作;随后每隔30s时间定时向NameServer上报Topi ......
RocketMQ 机制

RocketMQ之重试机制

一、概述 Producer对发送失败的消息进行重新发送的机制,称为消息发送重试机制,也称为消息重投机制。 对于消息重投,需要注意以下几点: 生产者在发送消息时,若采用同步或异步发送方式,发送失败会重试,但oneway消息发送方式发送失败是没有重试机制的; 只有普通消息具有发送重试机制,顺序消息是没有 ......
RocketMQ 机制

RocketMQ Helm模板增加ACL认证

RocketMQ版本:4.9.2 具体请按实际场景进行修改 修改rocketmq/templates/broker/configmap.yaml data: broker-base.conf: | brokerClusterName = {{ .Values.clusterName }} aclEn ......
RocketMQ 模板 Helm ACL

RocketMQ开启ACL认证Go连接测试

RocketMQ开启ACL认证连接测试 导入包 go get -u github.com/apache/rocketmq-client-go/v2 go get -u github.com/spf13/pflag 查看go.mod module your_module_name go 1.16 re ......
RocketMQ ACL

rocketmq启动nameserver的坑

当你启动rocketmq时可以启动但找不到日志时: 第一:减小JVM的内存 其次:要到bin目录中输入启动命令。 楼主就是第二步解决的 ......
nameserver rocketmq

RocketMQ消费者是如何负载均衡的

摘要:RocketMQ 支持两种消息模式:集群消费( Clustering )和广播消费( Broadcasting )。 本文分享自华为云社区《一文讲透RocketMQ消费者是如何负载均衡的》,作者:勇哥java实战分享。 RocketMQ 支持两种消息模式:集群消费( Clustering )和 ......
RocketMQ 消费者

RocketMQ笔记(十一):消息存储删除机制

RocketMQ的消息采用文件进行持久化存储。 1、存储目录详情 RocketMQ中默认文件存储位置/root/store,文件详情如下 commitLog:消息存储目录 config:运行期间一些配置信息 consumerqueue:消息消费队列存储目录 index:消息索引文件存储目录 chec ......
RocketMQ 机制 消息 笔记

RocketMQ笔记(十):事务消息

事务消息官网:RocketMQ官网 - 事务消息。 一、什么是事务消息 事务消息是 RocketMQ 提供的一种消息类型,支持在分布式场景下保障消息生产和本地事务的最终一致性。 二、事务消息的原理 2.1、事务消息的生命周期 2.1.1、初始化 半事务消息被生产者构建并完成初始化,待发送到服务端的状 ......
RocketMQ 事务 消息 笔记

RocketMQ笔记(九):延时/定时消息

一、什么是延时/定时消息 定时/延时消息为 RocketMQ 中提供的一种消息类型。定时消息和延时消息本质相同,都是服务端根据消息设置的定时时间在某一固定时刻将消息投递给消费者消费。 Producer将消息发送到消息队列 RocketMQ 服务端,但并不期望这条消息立马投递(被消费者消费),而是延迟 ......
RocketMQ 消息 笔记