rabbitmq kafka
RabbitMQ 实现消息队列延迟
1.概述 要实现RabbitMQ的消息队列延迟功能，一般采用官方提供的 rabbitmq_delayed_message_exchange插件。但RabbitMQ版本必须是3.5.8以上才支持该插件，否则得用其死信队列功能。 2.安装RabbitMQ延迟插件 检查插件 使用rabbitmq-plug ......
SpringBoot RabbitMQ死信队列
1. 死信定义 无法被消费的消息，称为死信。 如果死信一直留在队列中，会导致一直被消费，却从不消费成功，专门有一个存放死信的队列，称为死信队列(DDX, dead-letter-exchange)。 死信队列 DLX，Dead Letter Exchange的缩写，又死信邮箱、死信交换机。其实DLX ......
SpringCloud Stream集成RabbitMQ
1.概述 SpringCloud Stream框架抽象出了三个最基础的概念来对各种消息中间件提供统一调用： Destination Binders: 负责集成外部消息系统的组件。 Destination Binding: 由Binders创建的，负责沟通外部消息系统、消息发送者和消息消费者的桥梁。 ......
深入学习RabbitMQ五种模式(三)
1.路由模式(精确匹配) 路由模式（Routing）的特点： 该模式的交换机为direct，意思为定向发送，精准匹配。 队列与交换机的绑定，不能是任意绑定了，而是要指定一个RoutingKey（路由key） 消息的发送方在向Exchange发送消息时，也必须指定消息的 RoutingKey。 Exc ......
深入学习RabbitMQ五种模式(二)
# 1.工作模式 工作模式也被称为任务模型（Task Queues）。当消息处理比较耗时的时候，可能生产消息的速度会远远大于消息的消费速度。长此以往，消息就会堆积越来越多，无法及时处理。此时就可以使用 work 模型：让多个消费者绑定到一个队列，共同消费队列中的消息。队列中的消息一旦消费，就会消失， ......
深入学习RabbitMQ五种模式(一)
1.安装erlang 下载otp_win64_25.3.exe https://www.erlang.org/downloads erlang安装完成，需要配置erlang环境变量 ERLANG_HOME=E:\software\Erlang OTP PATH=%PATH%;%ERLANG_HOME ......
rabbitmq-- 面试
面试题1：如何解决消息丢失？ ack（消费者确认） 持久化 生产者确认（publisher confirm）：生产者发送消息后，等待mq的ACK，如果没有收到或者收到失败信息，则重试。如果收到成功消息则业务结束。 可靠消息服务（可选）：对于部分不支持生产者确认的消息队列，可以发送消息前，将消息持久化 ......
rabbitMQ--类型
1.五种消息模型 1.1基本消息模型 1.2work消息模型 1.3订阅模型 1.3.1 Fanout，也称为广播。 流程说明 流程图： 在广播模式下，消息发送流程是这样的： 1） 可以有多个消费者 2） 每个消费者有自己的queue（队列） 3） 每个队列都要绑定到Exchange（交换机） 4） ......
RabbitMQ _ How to Close a Channel
https://low-orbit.net/rabbitmq-how-to-close-a-channel RabbitMQ How to Close a Channel If you have found your way to this page you are probably wonderi ......
【问题解决】RabbitMQ启动出现epmd error for host xx.xx: nxdomain (non-existing domain)
问题描述 【k8s】或【普通容器】或【Linux】部署的RabbitMQ启动时出现了 epmd error for host xx.xx: nxdomain (non-existing domain) 错误，MQ无法启动成功。 其中 xx.xx 为无法解析的域名。 RabbitMQ官方还提到报错 E ......
kafka和rocketmq区别对比
Kafka和RocketMQ是目前非常流行的分布式消息系统，它们都能够高效地处理海量的消息数据。在本文中，我们将对Kafka和RocketMQ进行技术比较，分析它们在各方面的优缺点，以便读者在选择消息系统时能够做出更加明智的决策。 一、架构设计 Kafka和RocketMQ都是基于发布/订阅模式的消 ......
记录一下linux-kafka命令
login as: rootroot@*******'s password:Last login: Fri Apr 28 14:54:26 2023 from 10.10.16.80[root@kafka272c41 ~]# cd ..[root@kafka272c41 /]# ls -a. .. ......
Linux安装RabbitMQ
前言：还是和以前一样，linux安装软件的目录都是data目录 1.这次稍微不一样，不过还是进入data目录，创建RabbitMq目录并进入该目录 cd /data mkdir rabbitMq cd rabbitMq 2.上传 "erlang-21.1-1.el7.x86_64.rpm" 文件 和 ......
记一次kafka消息积压的解决
背景 简化的系统拓扑图如下 问题 大量增加了传感器数量后,发现数据仓库里的数据入库有延迟了, 于是使用kafka自带的bin目录下的kafka-consumer工具查看一下消费者消息积压数量 [pmish@localhost bin]$ ./kafka-consumer-groups.sh --bo ......
docker启动rabbitMQ，通过java创建交换机、队列、绑定
通过docker启动rabbitMQ docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:manageme ......
消息队列之 RabbitMQ
原文地址 www.jianshu.com 关于消息队列，从前年开始断断续续看了些资料，想写很久了，但一直没腾出空，近来分别碰到几个朋友聊这块的技术选型，是时候把这块的知识整理记录一下了。 市面上的消息队列产品有很多，比如老牌的 ActiveMQ、RabbitMQ ，目前我看最火的 Kafka ，还有 ......
SpringBoot 集成多个rabbitmq
SpringBoot 集成多个rabbitmq 在项目中经常遇到一个springboot工程要连接多个rabbitmq。如果只连接一个，springboot可以零配置连接rabbitmq，这样不需要做额外的工作。但如果连接多个rabbitmq，就得做一些配置了。 1 配置多个rabbitmq的连接地 ......
rabbitMQ镜像模式搭建
一、环境 配置hosts解析 192.168.1.135 rabbit-master01 192.168.1.136 rabbit-master02192.168.1.137 rabbit-master03 关闭防火墙或者配置相关端口 二、安装yum源及rabbitmq 在所有机器上 curl -s ......
【kafka】-分区-消费端负载均衡
一.为什么kafka要做分区？ 因为当一台机器有可能扛不住（类比：就像redis集群中的redis-cluster一样，一个master抗不住写，那么就多个master去抗写），把一个队列的单一master变成多个master，即一台机器扛不住qps，那么我就用多台机器扛qps，把一个队列的流量均匀 ......
Ubuntu 22.04.1 LTS 安装RabbitMQ
一、下载安装包 下载地址：Downloading and Installing RabbitMQ — RabbitMQ 其实官方给了一个安装脚本，一步一步执行就可以了。 直通车：Installing on Debian and Ubuntu — RabbitMQ 二、开始安装 1、安装curl cu ......
Kafka消费者
1. 消费方式 consumer采用pull（拉）模式从broker中读取数据。 push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息，但是这样很容易造成consumer来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而pul ......
Kafka生产者
1. 分区策略 分区的原因 方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据。 可以提高并发，因为可以以Partition为单位读写了 分区的原则 指明 partition 的情况下，直接 ......
Kafka架构深入
1. 消息队列 1.1 传统消息队列的应用场景 MQ传统应用场景之异步处理 1.2 消息队列的两种模式 1) 点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除) 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所 ......
使用 OpenCV、Kafka 和 Spark 技术进行视频流分析
核心要点 为了可靠且高效地处理大规模的视频流数据，需要有一个可扩展、能容错、松耦合的分布式系统； 本文中的示例应用使用开源的技术来构建这样的系统，这些技术包括 OpenCV、Kafka 和 Spark。另外，还可以使用 Amazon S3 或 HDFS 进行存储； 该系统包含了三个主要的组件：视频流 ......
Video Stream Analytics Using OpenCV, Kafka and Spark Technologies
Key Takeaways For reliable handling and efficient processing of large scale video stream data, there is a need for a scalable, fault tolerant and loos ......
springboot项目配置多个kafka
1.spring-kafka <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.3.5.RELEASE</version></depen ......
如何解决RabbitMQ消息积压
如果你在你简历上写上了熟悉RabbitMQ，那么你在面试时很有可能会被问到，如何解决MQ消息积压？ 要想将此问题回答完美，一定要多方面考虑。首先，我们要搞清楚是什么原因导致的消息积压。我列举了以下三种： 1）流量变大，而RabbitMQ服务器配置偏低，导致消息产生速度大于消费速度； 2）消费者故障， ......
RabbitMQ详解（下）
一：序 通过《RabbitMQ详解（上）》一文中，我们可以知道RabbitMQ的一些基本的原生用法，如交换机的创建及消息的投递，但是在企业中我们大部分都是把RabbitMQ集成到SpringBoot中的，所以原生的方式我们则不怎么使用到，下面我将和大家一起走入SpringBoot整合RabbitMQ ......
elasticsearch+filebeat+kafka+kibana——filbeat篇章——overview
filbeat篇章——overview https://www.elastic.co/guide/en/beats/filebeat/8.7/filebeat-overview.html#filebeat-overview Filebeat is a lightweight shipper for ......
Kafka命令行操作
1. 查看当前服务器中的所有topic [hadoop@hadoop1 ~]$ kafka-topics.sh --zookeeper hadoop1:2181/kafka --list 2. 创建topic [hadoop@hadoop1 ~]$ kafka-topics.sh --create ......