rabbitmq rocketmq kafka

kafka 不支持读写分离的原因

前段时间在看 kafka 相关内容,发现 kafka “所有的”读写流量都在主 partition 上,从 partition 只负责备份数据。 那么为什么 kafka 从 partition 不跟其他中间件一样承接读流量? 读写分离的初衷 读写分离的初衷我觉得是利用读流量 & 写流量不同的特性做针 ......
原因 kafka

RabbitMQ linux安装流程

1.在根目录创建文件夹 rabbitMQ cd /mkdir rabbitMQ 2.下载rabbitMQ ram安装包 和对应版本的Erlang (我这里用的3.11.2的rabbitMQ 就需要对应的25.1的Erlang )参考地址:RabbitMQ Erlang Version Require ......
RabbitMQ 流程 linux

在CentOS 7上安装RabbitMQ服务器

导读 RabbitMQ是一个免费的开源企业消息代理软件。 它是用Erlang编写的,并实现了高级消息队列协议(AMQP)。 它提供所有主要编程语言的客户端库。 它支持多种消息传递协议,消息队列,传送确认,灵活的路由到队列,多种交换类型。 它还提供易于使用的HTTP-API,命令行工具和用于管理Rab ......
RabbitMQ 服务器 CentOS

超详细的RabbitMQ快速入门!!你不拿走吗?

转载自:https://juejin.cn/post/6992551868748529677 RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。 AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。 AMQP协议更多用在企业系统内,对 ......
RabbitMQ

基于RabbitMQ的MQTT实现

1.RabbitMQ mqtt协议开启 默认情况下RabbitMQ是不开启MQTT协议的,所以需要我们手动的开启相关的插件,而RabbitMQ的MQTT协议分为两种。 rabbitmq_mqtt 提供与后端服务交互使用,对应端口1883 rabbitmq_web_mqtt 提供与前端交互使用,对应端 ......
RabbitMQ MQTT

RabbitMQ 实现消息队列延迟

1.概述 要实现RabbitMQ的消息队列延迟功能,一般采用官方提供的 rabbitmq_delayed_message_exchange插件。但RabbitMQ版本必须是3.5.8以上才支持该插件,否则得用其死信队列功能。 2.安装RabbitMQ延迟插件 检查插件 使用rabbitmq-plug ......
队列 RabbitMQ 消息

SpringBoot RabbitMQ死信队列

1. 死信定义 无法被消费的消息,称为死信。 如果死信一直留在队列中,会导致一直被消费,却从不消费成功,专门有一个存放死信的队列,称为死信队列(DDX, dead-letter-exchange)。 死信队列 DLX,Dead Letter Exchange的缩写,又死信邮箱、死信交换机。其实DLX ......
死信 队列 SpringBoot RabbitMQ

SpringCloud Stream集成RabbitMQ

1.概述 SpringCloud Stream框架抽象出了三个最基础的概念来对各种消息中间件提供统一调用: Destination Binders: 负责集成外部消息系统的组件。 Destination Binding: 由Binders创建的,负责沟通外部消息系统、消息发送者和消息消费者的桥梁。 ......
SpringCloud RabbitMQ Stream

深入学习RabbitMQ五种模式(三)

1.路由模式(精确匹配) 路由模式(Routing)的特点: 该模式的交换机为direct,意思为定向发送,精准匹配。 队列与交换机的绑定,不能是任意绑定了,而是要指定一个RoutingKey(路由key) 消息的发送方在向Exchange发送消息时,也必须指定消息的 RoutingKey。 Exc ......
RabbitMQ 模式

深入学习RabbitMQ五种模式(二)

# 1.工作模式 工作模式也被称为任务模型(Task Queues)。当消息处理比较耗时的时候,可能生产消息的速度会远远大于消息的消费速度。长此以往,消息就会堆积越来越多,无法及时处理。此时就可以使用 work 模型:让多个消费者绑定到一个队列,共同消费队列中的消息。队列中的消息一旦消费,就会消失, ......
RabbitMQ 模式

深入学习RabbitMQ五种模式(一)

1.安装erlang 下载otp_win64_25.3.exe https://www.erlang.org/downloads erlang安装完成,需要配置erlang环境变量 ERLANG_HOME=E:\software\Erlang OTP PATH=%PATH%;%ERLANG_HOME ......
RabbitMQ 模式

rabbitmq-- 面试

面试题1:如何解决消息丢失? ack(消费者确认) 持久化 生产者确认(publisher confirm):生产者发送消息后,等待mq的ACK,如果没有收到或者收到失败信息,则重试。如果收到成功消息则业务结束。 可靠消息服务(可选):对于部分不支持生产者确认的消息队列,可以发送消息前,将消息持久化 ......
rabbitmq

rabbitMQ--类型

1.五种消息模型 1.1基本消息模型 1.2work消息模型 1.3订阅模型 1.3.1 Fanout,也称为广播。 流程说明 流程图: 在广播模式下,消息发送流程是这样的: 1) 可以有多个消费者 2) 每个消费者有自己的queue(队列) 3) 每个队列都要绑定到Exchange(交换机) 4) ......
rabbitMQ 类型

RabbitMQ _ How to Close a Channel

https://low-orbit.net/rabbitmq-how-to-close-a-channel RabbitMQ How to Close a Channel If you have found your way to this page you are probably wonderi ......
RabbitMQ Channel Close How to

【问题解决】RabbitMQ启动出现epmd error for host xx.xx: nxdomain (non-existing domain)

问题描述 【k8s】或【普通容器】或【Linux】部署的RabbitMQ启动时出现了 epmd error for host xx.xx: nxdomain (non-existing domain) 错误,MQ无法启动成功。 其中 xx.xx 为无法解析的域名。 RabbitMQ官方还提到报错 E ......

RocketMQ(三):架构设计

官网地址:RocketMQ官网架构设计地址。 一、技术架构 1.1、RocketMQ整体技术架构图 1.2、技术架构的组成 RocketMQ从技术架构上分为四部分,分别为Producer(生产者)、Consumer(消费者)、BrokerServer(服务实例)、NameServer(Topic路由 ......
架构 RocketMQ

RocketMQ(二):领域与消息传输模型

RocketMQ 是一款典型的分布式架构下的中间件,使用异步通信方式和发布订阅的消息传输模型。 RocketMQ的异步通信,系统拓扑简单、上下游耦合较弱,主要应用于异步解耦,流量削峰填谷等场景。 1、领域模型 RocketMQ 中消息的生命周期主要分为消息生产、消息存储、消息消费三部分。生产者生产消 ......
RocketMQ 模型 领域 消息

kafka和rocketmq区别对比

Kafka和RocketMQ是目前非常流行的分布式消息系统,它们都能够高效地处理海量的消息数据。在本文中,我们将对Kafka和RocketMQ进行技术比较,分析它们在各方面的优缺点,以便读者在选择消息系统时能够做出更加明智的决策。 一、架构设计 Kafka和RocketMQ都是基于发布/订阅模式的消 ......
rocketmq kafka

RocketMQ(一):基本概念

RocketMQ官方文档地址:RocketMQ官网文档地址。 一、什么是RocketMQ RocketMQ是一款分布式、队列模型的消息中间件。 二、RocketMQ的基本概念 2.1、Topic - 主题 Topic是RocketMQ 中消息传输和存储的顶层容器,用于标识同一类业务逻辑的消息,通过T ......
RocketMQ 概念

记录一下linux-kafka命令

login as: rootroot@*******'s password:Last login: Fri Apr 28 14:54:26 2023 from 10.10.16.80[root@kafka272c41 ~]# cd ..[root@kafka272c41 /]# ls -a. .. ......
linux-kafka 命令 linux kafka

Linux安装RabbitMQ

前言:还是和以前一样,linux安装软件的目录都是data目录 1.这次稍微不一样,不过还是进入data目录,创建RabbitMq目录并进入该目录 cd /data mkdir rabbitMq cd rabbitMq 2.上传 "erlang-21.1-1.el7.x86_64.rpm" 文件 和 ......
RabbitMQ Linux

服务器之各种压力测试-网络、硬盘、redis、rocketmq等

网络测试-iperf 安装工具 yum install iperf -y 服务端 iperf -s -p 12345 -i 1 -M 客户端 iperf -c 服务端ip -p 12345 -i 1 -t 50 -w 20K 结果如下: ......
rocketmq 压力 硬盘 服务器 redis

记一次kafka消息积压的解决

背景 简化的系统拓扑图如下 问题 大量增加了传感器数量后,发现数据仓库里的数据入库有延迟了, 于是使用kafka自带的bin目录下的kafka-consumer工具查看一下消费者消息积压数量 [pmish@localhost bin]$ ./kafka-consumer-groups.sh --bo ......
消息 kafka

docker启动rabbitMQ,通过java创建交换机、队列、绑定

通过docker启动rabbitMQ docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:manageme ......
队列 交换机 rabbitMQ docker java

消息队列之 RabbitMQ

原文地址 www.jianshu.com 关于消息队列,从前年开始断断续续看了些资料,想写很久了,但一直没腾出空,近来分别碰到几个朋友聊这块的技术选型,是时候把这块的知识整理记录一下了。 市面上的消息队列产品有很多,比如老牌的 ActiveMQ、RabbitMQ ,目前我看最火的 Kafka ,还有 ......
队列 RabbitMQ 消息

极客时间「大师课·深度剖析 RocketMQ5.0」上线啦,欢迎免费领取!

从初代开源消息队列崛起,到 PC 互联网、移动互联网爆发式发展,再如今 IoT、云计算、云原生引领了新的技术趋势,消息中间件的发展已经走过了 30 多个年头。 目前,消息中间件在国内许多行业的关键应用中扮演着至关重要的角色。随着数字化转型的深入,客户在使用消息技术的过程中往往同时涉及交叉场景,比如同 ......
RocketMQ5 深度 RocketMQ 大师 时间

SpringBoot 集成多个rabbitmq

SpringBoot 集成多个rabbitmq 在项目中经常遇到一个springboot工程要连接多个rabbitmq。如果只连接一个,springboot可以零配置连接rabbitmq,这样不需要做额外的工作。但如果连接多个rabbitmq,就得做一些配置了。 1 配置多个rabbitmq的连接地 ......
SpringBoot rabbitmq 多个

rabbitMQ镜像模式搭建

一、环境 配置hosts解析 192.168.1.135 rabbit-master01 192.168.1.136 rabbit-master02192.168.1.137 rabbit-master03 关闭防火墙或者配置相关端口 二、安装yum源及rabbitmq 在所有机器上 curl -s ......
rabbitMQ 镜像 模式

【kafka】-分区-消费端负载均衡

一.为什么kafka要做分区? 因为当一台机器有可能扛不住(类比:就像redis集群中的redis-cluster一样,一个master抗不住写,那么就多个master去抗写),把一个队列的单一master变成多个master,即一台机器扛不住qps,那么我就用多台机器扛qps,把一个队列的流量均匀 ......
kafka

部署 Rocketmq

Install Rocketmq 本次安装的机器操作系统是 Ubuntu18.04 安装 jdk 和工具软件 # 两台机器都要操作 apt-get install -y openjdk-8-jre-headless unzip 下载二进制安装包并解压 # 在 192.168.100.38 上操作 m ......
Rocketmq