rabbitmq rocketmq kafka
深入理解RocketMQ 广播消费
这篇文章我们聊聊广播消费，因为广播消费在某些场景下真的有奇效。笔者会从基础概念、实现机制、实战案例、注意事项四个方面一一展开，希望能帮助到大家。 1 基础概念 RocketMQ 支持两种消息模式：集群消费（ Clustering ）和广播消费（ Broadcasting ）。 集群消费： 同一 To ......
RocketMq发送消息之批量消息
概述 批量发送消息能显著提高传递小消息的性能。限制是这些批量消息应该有相同的topic，相同的waitStoreMsgOK，而且不能是延时消息。此外，这一批消息的总大小不应超过4MB 发送批量消息 如果您每次只发送不超过4MB的消息，则很容易使用批处理，样例如下： String topic = "B ......
rabbitmq集群搭建-镜像模式
rabbitmq简介 RabbitMQ 采用 Erlang 语言开发，Erlang 语言由 Ericson 设计，Erlang 在分布式编程和故障恢复方面表现出色，电信领域被广泛使用。 Broker: 接收和分发消息的应用，RabbitMQ Server 就是Message Broker，一个Bro ......
RocketMq发送消息之延迟消息
延迟消息 比如电商里，提交了一个订单就可以发送一个延时消息，1h后去检查这个订单的状态，如果还是未付款就取消订单释放库存。 使用限制 对比于rabbitmq中的延迟消息来说，rockermq并不支持任意时间的延迟，需要设置几个固定的延时等级，从1s到2h分别对应着等级1到18级 // org/apa ......
RabbitMQ保姆级教程最佳实践
一、消息队列介绍 1、消息队列概念 1、MQ全称为Message Queue,消息队列（MQ）是⼀种应⽤程序对应⽤程序的通信⽅法。 应⽤程序通过读写出⼊队列的消息（针对应⽤程序的数据）来通信，⽽⽆需专⽤连接来 链接它们。 2、消息传递指的是程序之间通过在消息中发送数据进⾏通信，⽽不是通过直接调⽤彼此 ......
乱序数据 延迟计算 watermark kafka
kafka只能保证分区内的数据的有序性 直播 用户 关注 取消关注 多次点击 EventTime 事件时间多久后执行 翻译 搜索 复制 ......
RocketMQ发送消息之同步异步单向
官网教程：https://rocketmq.apache.org/zh/docs/quickStart/01quickstart 基于双主双从异步方式开启的前提下，在maven项目中引入下列依赖 <dependency> <groupId>org.apache.rocketmq</groupId> ......
Kafka的消息传递保证和一致性
前言 通过前面的文章，相信大家对Kafka有了一定的了解了，那接下来问题就来了，Kafka既然作为一个分布式的消息队列系统，那它会不会出现消息丢失或者重复消费的情况呢？今天咱们就来一探。 实现机制 Kafka采用了一系列机制来实现消息传递的保证和一致性，关键点： 至少一次的消息传递（At Least ......
Docker 部署 RabbitMQ
Docker 部署 RabbitMQ (35条消息) docker-compose安装RabbitMQ_rabbitmq dockerfile_嫣夜来的博客-CSDN博客 Docker系列之RabbitMQ安装部署教程 - 腾讯云开发者社区-腾讯云 (tencent.com) 拉取镜像 docker ......
docker-compose 部署 RabbitMQ
docker-compose 部署 RabbitMQ docker-compose.yml version: '3.5' services: rabbitmq: restart: always image: rabbitmq:management container_name: rabbitmq h ......
Kafka入门
1. Kafka简介 Apache Kafka 是LinkedIn公司开发的一款开源的高吞吐、分布式的消息队列系统，它具有高伸缩性、高可靠性和低延迟等特点，因此在大型数据处理场景中备受青睐。Kafka 可以处理多种类型的数据，如事件、日志、指标等，广泛应用于实时数据流处理、日志收集、监控和分析等领域 ......
Kafka 是如何管理消费位点的
Kafka 是如何管理消费位点的？ https://mp.weixin.qq.com/s?__biz=MzI0NTIxNzE1Ng==&mid=2651220012&idx=2&sn=1d5623daaf327f0688995565901bd63d&chksm=f2a32ac7c5d4a3d1ffe ......
半小时，了解kafka的工作原理
为什么需要消息队列 周末无聊刷着手机，某宝网APP突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天！”。买一送一还有这种好事，那我可不能错过！忍不住立马点了去。于是选了两个最新款，下单、支付一气呵成！满足的躺在床上，想着马上有女朋友了，竟然幸福的失眠了…… 第二天正常上着班，突然接到 ......
INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式
INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，添加可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console ......
Kafka详解、Kafka集群搭建与使用
Kafka详解、Kafka集群搭建与使用 原创 凉兮 凉兮的运维日记 2023-09-21 16:10 发表于北京 收录于合集 #docker6个 #消息队列1个 一、Kafka详解 1.Kafka是什么 Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的 ......
docker安装rabbitmq镜像
--拉取rabbitmq的镜像文件 docker pull rabbitmq:3.7.7-management --只有默认账号guest docker run -d -p 5672:5672 -p 15672:15672 --name rabbitmq --restart=always rabbi ......
Docker上运行RabbitMQ，无法访问管理页面
在CentOS 7中的Docker安装并运行了RabbitMQ，但是在访问管理页面http://IP:15672/却提示拒绝访问 这是因为在Docker上运行的RabbitMQ，默认情况下是没有启用管理插件和管理页面的 使用命令 docker exec -it 容器名 /bin/bash 进入 Ra ......
kafka如何保证消费的顺序性
一个主题有多个分区，只有在一个分区内的消息才有顺序性，我们可以在发送消息时指定对应的分区号或者发送消息时按照相同的业务设置相同的key，通过对应key的hashcode值找到对应的分区，这样就能将消息放入一个分区从而保证消费的顺序性。 ......
Kafka怎么保证消息不丢失和重复消费
（1）生产者发送消息采用异步回调发送，如果发送失败，我们可以通过回调获取消息信息，可以选择记录日志或者重试，同时生产者也可以设置消息重试机制。 （2）采用broker的复制机制保证消息在broker中不丢失：开启生产者消息确认机制为all，这样的话，当生产者发送消息到了分区之后， 不仅仅只在lead ......
保证RabbitMQ不重复消费
产生重复消费的原因：当消费者消费完消息之后还没来的及给消息队列返回ack，此时MQ宕机了，当在次重启时就可能再次消费这条消息，就产生了重复消费。 解决方法：每一个消息都有一个唯一标识，我们可以在消费消息前去数据库中查询一下是否存在这条消息，如果存在说明重复消费了，如果不存在说明没有消费。 ......
如何保证RabbitMQ消息不丢失
（1）开启生产者确认机制，保证消息能够到达消息队列，如果报错，可以先记录至日志中，在去修复数据。 （2）开启队列和交换机的持久化功能，保证队列中还没有被消费的消息不丢失。 （3）开启消费者确认机制为auto，由spring管理消费者消费成功时返回ack。还可以设置重试次数（如设置3次），当重试超过次 ......
RabbitMQ实例-天狼（与黑马基础混合使用）
RabbitMQ讲义 引言： 中国被世界黑的最惨的一天 2007年10月30日，北京奥运会门票面向境内公众第二阶段预售正式启动。上午一开始，公众提交申请空前踊跃。上午9时至10时，官方票务网站的浏览量达到了800万次，票务呼叫中心热线从9时至10时的呼入量超过了380万人次。由于瞬间访问数量过大，技 ......
讲清楚 kafka 拉取消息的过程
kafka 是一个高吞吐的消息服务中间件，当然这一切都是有原因的，今天我从 kafka 拉取消息这个场景剖析下 broker 的实现。 问题：kafka consumer 在 poll 的时候传递了一个 timeout 的参数，broker 是怎么处理这个参数的？如果 leader broker 有 ......
RocketMQ源码(六)：RocketMQ消费者启动流程
RocketMQ通过Consumer消费消息，可并发和顺序的处理消息，这里以并发消费普通消息为例，分析消息下佛诶的整体流程。Consumer的示例代码如下： 1 import com.snails.rmq.common.RMQConstant; 2 import org.apache.rocketm ......
CentOS7 安装RocketMQ5.1.3
安装JDK 1.要求jdk1.8以上，官网下载地址：https://www.oracle.com/cn/java/technologies/downloads/ 2.下载完成后放到/home/downloadfile 没有目录手动创建 3.解压JDK文件到/usr/lib/jvm目录中 tar -x ......
SpringBoot2集成RabbitMQ（注解+回调）
一、概述 RabbitMQ 是实现 AMQP（高级消息队列协议）的消息中间件的一种，最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。RabbitMQ 主要是为了实现系统之间的双向解耦而实现的。当生产者大量产生数据时，消费者无法快速消费，那么需要一个中间层 ......
进击消息中间件系列（一）：Kafka 入门（基本概念与架构）【转】
在这之前，我们相继卷完了：关系型数据库 MySQL 、 NoSQL 数据库 Redis 、 MongoDB 、搜索引擎 ElasticSearch 、大数据 Hadoop框架、PostgreSQL 数据库这些系列的知识体系。今天开始，我们将踏上另一个学习之路：中间件！第一个要学习的中间件就是：Kaf ......
rabbitmq #method<connection.close>(reply-code=530, reply-text=NOT_ALLOWED
一、概述 在SpringBoot集成RabbitMQ，启动项目的时候报错 Caused by: com.rabbitmq.client.ShutdownSignalException: connection error; protocol method: #method<connection.clo ......
rabbitmq Broker not available; cannot force queue declarations during start: java.util.concurrent.TimeoutException
一、概述 使用SpringBoot集成RabbitMQ遇到的问题。 2023-09-20 14:19:39.655 INFO 10256 [ restartedMain] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat started on port ......
ubuntu安装RabbitMQ
一、概述 本地需要做RabbitMQ测试，想着安装包本地不利于来回换机子测试。就想着把其安装到云服务上，云服务的系统是ubuntu系统。这样通过远程连接，就不需要担心换机器的时候RabbitMQ用不了的问题了。可谓一次安装到处使用 二、示例，备注：这里直接安装最新版的 1.安装erlang。遇到询问 ......