rabbitmq rocketmq kafka
【RocketMQ】Dledger日志复制源码分析
消息存储 在 【RocketMQ】消息的存储一文中提到，Broker收到消息后会调用CommitLog的asyncPutMessage方法写入消息，在DLedger模式下使用的是DLedgerCommitLog，进入asyncPutMessages方法，主要处理逻辑如下： 调用serialize方法 ......
RabbitMQ 延迟消息实战
RabbitMQ 延迟消息实战 现实生活中有一些场景需要延迟或在特定时间发送消息，例如智能热水器需要 30 分钟后打开，未支付的订单或发送短信、电子邮件和推送通知下午 2:00 开始的促销活动。 RabbitMQ 本身没有直接支持延迟队列的功能，如果您搜索“如何在 RabbitMQ 中使用延迟消息” ......
RocketMQ 5.0 vs 4.9.X 图解架构对比
本文作者：李伟，Apache RocketMQ Committer，RocketMQ Python客户端项目Owner ，Apache Doris Contributor，腾讯云数据库开发工程师。 01 RocketMQ 4.9.X架构 在4.9.X中每个组件和组件之间的通信简单说明如下： | 组件 ......
ASP.NET Core知识之RabbitMQ组件使用（二）
近期，业务调整，需要内网读取数据后存入到外网，同时，其他服务器也需要读取数据,于是我又盯上了RabbitMQ。在展开业务代码前，先看下RabbitMQ整体架构，可以看到Exchange和队列是多对多关系。 下面，我们详细说说RabbitMQ的队列模式：简单队列、工作队列、发布订阅模式、路由模式、主题 ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
RocketMQ Streams 1.1.0: 轻量级流处理再出发
作为一套全新的流式处理框架，RocketMQ Streams 如何实现流计算拓扑图构建呢？一起来了解下它的实现原理以及数据流转过程和过程中的状态变化吧~ ......
RocketMQ消息短暂而又精彩的一生
大家好，我是三友~~ 这篇文章我准备来聊一聊RocketMQ消息的一生。 不知你是否跟我一样，在使用RocketMQ的时候也有很多的疑惑： 消息是如何发送的，队列是如何选择的？消息是如何存储的，是如何保证读写的高性能？RocketMQ是如何实现消息的快速查找的？RocketMQ是如何实现高可用的？消 ......
1.5万字长文：从 C# 入门 Kafka
作者：痴者工良 个人网站：https://www.whuanle.cn 博客园：https://www.cnblogs.com/whuanle/ 本教程地址：https://kafka.whuanle.cn/ 本教程是关于 Kafka 知识的教程，从 C# 中实践编写 Kafka 程序，一边写代码一 ......
【RocketMQ】消息拉模式分析
RocketMQ有两种获取消息的方式，分别为推模式和拉模式。 推模式 推模式在【RocketMQ】消息的拉取一文中已经讲过，虽然从名字上看起来是消息到达Broker后推送给消费者，实际上还是需要消费向Broker发送拉取请求获取消息内容，推模式对应的消息消费实现类为DefaultMQPushCons ......
【RocketMQ】负载均衡源码分析
RocketMQ在集群模式下，同一个消费组内，一个消息队列同一时间只能分配给组内的某一个消费者，也就是一条消息只能被组内的一个消费者进行消费，为了合理的对消息队列进行分配，于是就有了负载均衡。 接下来以集群模式下的消息推模式DefaultMQPushConsumerImpl为例，看一下负载均衡的过程 ......
Redis+Hbase+RocketMQ 实际使用问题案例分享
##需求 将Hbase数据，解析后推送到RocketMQ。 redis使用list数据类型，存储了需要推送的数据的RowKey及表名。 简单画个流程图就是： ##分析及确定方案 Redis 明确list中元素结构{"rowkey":rowkey,"table":table}解析出rowkey； 一次 ......
Apache RocketMQ 5.0 笔记
RocketMQ 5.0：云原生“消息、事件、流”实时数据处理平台，覆盖云边端一体化数据处理场景。 核心特性 云原生：生与云，长与云，无限弹性扩缩，K8s友好 高吞吐：万亿级吞吐保证，同时满足微服务与大数据场景 流处理：提供轻量、高扩展、高性能和丰富功能的流计算引擎 金融级：金融级的稳定性，广泛用于 ......
Apache Kafka 的基本概念
基本概念 主题 Topic topic 是 Kafka 最基础的组织单位，类似于关系数据库中的数据表。做为使用 kafka 的开发者，你最应该考虑的是和 topic 相关的抽象。创建不同的 topic 保存不同种类的 events，或者通过不同的 topic 保存各种版本经过过滤、转换后的同类 ev ......
【环境搭建】RocketMQ集群搭建
环境搭建第9篇rocketmq集群文章，方便学习中复现和使用，时间宝贵，踩坑艰难。包含集群搭建，管理台搭建，springboot本地请求等。 ......
终于弄明白了 RocketMQ 的存储模型
RocketMQ 优异的性能表现，必然绕不开其优秀的存储模型 。 这篇文章，笔者按照自己的理解 , 尝试分析 RocketMQ 的存储模型，希望对大家有所启发。 1 整体概览 首先温习下 RocketMQ 架构。 整体架构中包含四种角色 : Producer ：消息发布的角色，Producer 通过 ......
netcore下RabbitMQ队列、死信队列、延时队列及小应用
关于安装rabbitmq这里一笔掠过了。 下面进入正题： 1.新建aspnetcorewebapi空项目，NormalQueue,删除controllers文件夹已经无关的文件，这里为了偷懒不用console控制台： public class Program { public static void ......
使用 Bitnami Helm 安装 Kafka
服务器端 K3S 上部署 Kafka Server Kafka 安装 📚️ Quote: charts/bitnami/kafka at master · bitnami/charts (github.com) 输入如下命令添加 Helm 仓库： > helm repo add tkemarket ......
Apache Kafka 移除 ZK Proposals
Zookeeper 和 KRaft 这里有一篇 Kafka 功能改进的 proposal 原文。要了解移除 ZK 的原因，可以仔细看看该文章。以下是对该文章的翻译。 动机 目前，Kafka 使用 Zookeeper 保存与分区（patitions）、brokers 相关的元数据，以及选举 Kafka ......
RocketMQ Compaction Topic的设计与实现
Compaction Topic 是一种基于 key 的数据过期机制，即对于相同 key 的数据只保留最新值。该特性的应用场景主要为维护状态信息，或者在需要用到 KV 结构时，可以通过 Compaction Topic 将 key-value 信息直接保存到 MQ，从而解除对外部数据库的依赖。快来... ......
什么是Rabbitmq消息队列？ (安装Rabbitmq,通过Rabbitmq实现RPC全面了解,从入门到精通)
Rabbitmq 一: 消息队列介绍 1.介绍 消息队列就是基础数据结构中的 "先进先出" 的一种数据机构。想一下，生活中买东西需要排队，先排队的人先买消费，就是典型的 "先进先出"。 # 扩展 redis: 可以作为简单的消息队列 celery: 本事就是基于消息队列进行的封装。 2.MQ解决了什 ......
基于云基础设施快速部署 RocketMQ 5.0 集群
如何解决在云基础设施上部署 RocketMQ 时面临多节点部署带来的高操作成本等诸多挑战？快来了解 RocketMQ Operator 是怎样支撑 RocketMQ 集群在云基础设施上的自动化运维与管理吧！ ......
【RocketMQ】主从模式下的消费进度管理
在【RocketMQ】消息的拉取一文中可知，消费者在启动的时候，会创建消息拉取API对象PullAPIWrapper，调用pullKernelImpl方法向Broker发送拉取消息的请求，那么在主从模式下消费者是如何选择向哪个Broker发送拉取请求的？ 进入pullKernelImpl方法中，可以 ......
Kafka技术专题之「性能调优篇」消息队列服务端出现内存溢出OOM以及相关性能调优实战分析
本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory，主要内容包括基础应用、实用技巧、原理机制等方面，希望对大家有所帮助。 ......
RabbitMQ、RocketMQ、Kafka延迟队列实现
延迟队列在实际项目中有非常多的应用场景，最常见的比如订单未支付，超时取消订单，在创建订单的时候发送一条延迟消息，达到延迟时间之后消费者收到消息，如果订单没有支付的话，那么就取消订单。 那么，今天我们需要来谈的问题就是RabbitMQ、RocketMQ、Kafka中分别是怎么实现延时队列的，以及他们对 ......
RocketMQ 在网易云音乐的实践
最佳实践丨网易云音乐线上场景众多，比如直播、评论、广告等各个业务线都会有消息场景，一起来看看 RocketMQ 在云音乐的落地实战经验分享吧~ ......
RocketMQ Connect 构建流式数据处理平台
RocketMQ Connect 作为 RocketMQ 与其他系统间流式数据传输的重要工具，轻松将 RocketMQ 与其他存储技术进行集成，并实现低延迟流/批处理。接下来，我们一起详解运行原理与基本特性～ ......
RocketMQ Schema——让消息成为流动的结构化数据
RocketMQ Schema 提供了对消息的数据结构托管服务，同时为原生客户端提供了较为丰富的序列化/反序列化 SDK ，补齐了 RocketMQ 在数据治理和业务上下游解耦方面的短板，让数据成为流动的结构化数据，那么快来了解下实现原理吧~ ......
Kafka事务「原理剖析」
一、事务概览 提起事务，我们第一印象可能就是ACID，需要满足原子性、一致性、事务隔离级别等概念，那kafka的事务能做到什么程度呢？我们首先看一下如何使用事务 Producer端代码如下 KafkaProducer<String, String> producer = new KafkaProdu ......
【RocketMQ】主从同步实现原理
主从同步的实现逻辑主要在HAService中，在DefaultMessageStore的构造函数中，对HAService进行了实例化，并在start方法中，启动了HAService： public class DefaultMessageStore implements MessageStore { ......
读 RocketMQ 源码，学习并发编程三大神器
笔者是 RocketMQ 的忠实粉丝，在阅读源码的过程中，学习到了很多编程技巧。 这篇文章，笔者结合 RocketMQ 源码，分享并发编程三大神器的相关知识点。 1 CountDownLatch 实现网络同步请求 CountDownLatch 是一个同步工具类，用来协调多个线程之间的同步，它能够使一 ......