rabbitmq rocketmq kafka

# canal+RabbitMQ实现Redis与Mysql的数据最终一致性问题 ## 配置mysql(windows版本) ![image-20230603221946517](https://img2023.cnblogs.com/blog/2415626/202306/2415626-20230 ......

1.安装erlang rpm -ivh erlang-23.3.4.11-1.el7.x86_64.rpm  2.安装 ......

## 前言 现在假定这么一个业务场景，从`kafka`中的`topic`获取消息数据，经过一定加工处理后，发送到另外一个`topic`中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的`Exactly-Once`精确一次消息投递。这该如何实现呢？ ![](https://p3-juejin ......

# 1.引入开源组件logback-kafka-appender ```xml com.github.danielwegener logback-kafka-appender 0.2.0-RC2 ch.qos.logback logback-classic ``` # 2.logback-sprin ......

KafKa消费开发配置 以下代码需要写完整，不完整会出现中断，假死现象，长时间不处理问题。（实际项目代码） /// <summary> /// - offsets 是自动提交的。 /// - consumer.Poll / OnMessage 是用于消息消费的。 /// - 没有为轮询循环创建（Po ......

RocketMQ 是笔者非常喜欢的消息队列，4.9.X 版本是目前使用最广泛的版本，但它的消费逻辑相对较重，很多同学学习起来没有头绪。 这篇文章，笔者梳理了 RocketMQ 的消费逻辑，希望对大家有所启发。 ![](https://oscimg.oschina.net/oscnet/up-acd1 ......

0. 前言 之前先写了处理数据的spark，用文件读写测了一批数据，能跑出结果；今天调通了Kafka，拼在一起，没有半点输出，查了半天，发现是之前的处理部分出了问题，把一个不等号打成了等号，把数据全filter没了。很恐怖，我保证这段时间我没动过这段代码，但上次真的跑出东西了啊（尖叫 1. 配置流程 ......

## 前言 天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 ![](https:/ ......

# 一、消息队列介绍 MQ的全称是Message Queue——消息队列。 MQ是一种应用程序对应用程序的通信方法。 MQ是消费者-生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取队列中的消息。 这样发布者和使用者都不用知道对方的存在。 > 生产者-消费者模式是通过一个容 ......

# 1 背景 因为工作中需要对接kafka，准备在测试环境中自己部署一套，考虑方便决定部署一台单点。 # 2 部署 ## 2.1 scala ### 2.1.1 java环境 openjdk即可，我使用的是openjdk1.8 ### 2.1.2 下载软件 下载scala-2.12.17.tgz并解 ......

1.场景 集群B有一个应用要向集群A的kafka集群发送消息，但是集群A和集群B不是直接互通的，需要经过一层转发。 ......

1 消息模型（Message Model） RocketMQ主要由 Producer、Broker、Consumer 三部分组成，其中Producer 负责生产消息，Consumer 负责消费消息，Broker 负责存储消息。Broker 在实际部署过程中对应一台服务器，每个 Broker 可以存储 ......

这里就懒得记录了，直接放上一篇还不错的知乎博主的博客吧。点击前往 ......

# 消息队列Rabbitmq ## 1. 什么是消息队列(MQ) Message Queue消息队列是一种应用程序对应用程序的通信方法, 可以是线程(Queue), 也可以是`进程之间`, 而`rabbitmq`是进程之间的消息队列 `生产者消费者模型`: 通过一个容器来解决生产者和消费者之间的强耦 ......

Linux系统：CentOS7.x （如果是CentOS8.x的话，需要修改下面两个环境版本号中的el7为el8） Erlang：erlang-22.3.4.12-1.el7.x86_64.rpm RabbitMQ：rabbitmq-server-3.8.13-1.el7.noarch.rpm 1 ......

转： springboot项目rabbitmq消费者消费json格式的String，出现无限循环抛出No method found for class [B ......

关闭namesrv和broker 关闭namesrv服务 #进入bin sh mqshutdown namesrv 如图 关闭broker服务 sh mqshutdown broker 如图 通过jps验证下 如图 第五节：防火墙配置宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开 ......

package com.sunclouder.das.data.kafka.forward;import cn.hutool.core.util.StrUtil;import cn.hutool.json.JSONObject;import cn.hutool.json.JSONUtil;impor ......

# 1.简介与入门 ## 1.1.MQ介绍 ### 1.1.1.概念 MQ(message queue)，本质是个队列，FIFO 先入先出，只不过队列中存放的内容是 message 而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦” ......

> 安装转载：https://www.cnblogs.com/saryli/p/9729591.html > > 插件转载：https://blog.csdn.net/nbdclw/article/details/107441772 #### 安装及配置环境 ##### 第一步：下载并安装erlan ......

镜像策略 ha-mode ha- params 说明 exactly count 集群中队列副本的数量（主队列加上镜像）。count值为1表示一个副本：只有主节点。如果主节点不可用，则其行为取决于队列是否持久化。count值为2表示两个副本：一个队列主队列和一个队列镜像。换句话说:“镜像数=节点数- ......

方案一： 升级 K8s pod资源 交替清空其中一组 broker(m-s) 消息，重启pod 优点：操作简单，无需新增资源，在原有资源上扩容 缺点：只完成当前升级，最大只能升级到4C 8G，后续业务量起来有可能还需要升级（升级硬件） 操作： 1. 摘除写入流量 brokerPermission=2 ......

## 前言 消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢？kafka的位移管理又是怎么样的呢？ ## 消费者消费规则 ......

假设有一个名为test的主题，它有3个分区，每个分区的日志文件分别为test-0.log、test-1.log和test-2.log。现在想要通过offset 100来查找test主题的消息。 首先，需要确定offset 100位于哪个分区。可以使用Kafka提供的命令行工具kafka-consum ......

index文件名加偏移量可以找到log文件里面的偏移量，通过log文件里面的偏移量可以找到这条信息的位置。 ......

......

1、发送端 步骤分解如下：（1）建立连接conn, err := amqp.Dial("amqp://admin:admin@dev.com:5672/") （2）打开channel这里的channel 是AMQP 里的概念，可以理解为 多路复用的一个tcp长连接。 （3）声明一个队列q, err ......

一、RabbitMq下载安装 环境及版本 linux版本：CentOS Linux release 8.2.2004 (Core) rabbitmq版本：3.11.16 erlang版本：25.3.2-1 查看rabbitmq对应的erlang版本，官方地址： https://www.rabbitm ......

1.管理员模式运行 cmd 2.进入RabbitMQ安装目录下的sbin目录 输入命令： cd rabbitMQ的sbin路径，进入sbin目录 输入命令：rabbitmq-service.bat install 进入服务，开启rabbitMQ服务 ......

# erlang 安装 编译依赖：yum install make gcc gcc-c++ build-essential openssl openssl-devel unixODBC unixODBC-devel kernel-devel m4 ncurses-devel 解压：tar -zxvf ......