rabbitmq kafka

连接（Connection）： 连接是消息队列客户端与消息代理（如 RabbitMQ、Kafka 等）之间的网络连接。当客户端应用程序需要与消息代理进行通信时，首先需要建立一个连接。连接是一个低开销的资源，应尽量重用，以避免频繁地建立和断开连接。一个连接可以同时支持多个通道。 通道（Channel） ......

Kafka消息队列的两种模型： 点对点模式： 在点对点模式中，有一个消息生产者（Producer）将消息发送到特定的消息队列（Queue），然后消息消费者（Consumer）从该队列中获取消息。每个消息只能被一个消费者接收，即使有多个消费者监听同一个队列，每条消息也只会被其中一个消费者消费。这种模式 ......

延迟队列是指当消息被发送以后，并不是立即执行，而是等待特定的时间后，消费者才会执行该消息。 延迟队列的使用场景有以下几种： 1. 未按时支付的订单，30 分钟过期之后取消订单。 2. 给活跃度比较低的用户间隔 N 天之后推送消息，提高活跃度。 3. 新注册会员的用户，等待几分钟之后发送欢迎邮件等。 ......

什么是幂等性： 无论发送多少次相同的请求，最终的结果都是一致。 问： 那他又是如何保证消息不会被重复发送的？ 答： Kafka 通过 Producer Id（生产者标识符）和 Sequence Number（序列号）来保证消息不会被重复发送。以下是 Kafka 如何实现这一点的工作原理： Produ ......

Linux系统-部署-运维系列导航 kafka-manager介绍 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。 之前叫kafka-manager，现在改名叫CMAK（Cluster Manager for Apa ......

Linux系统-部署-运维系列导航 kafka介绍 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了 ......

需求： 监控rabbitmq总消息数量，设置阈值，自动发送邮件提醒 效果： 检测到问题，邮件已发送： 参考连接： linux，centSO搭建zabbix：https://blog.csdn.net/zhang_Darling/article/details/131745748 https://bl ......

## 前言 ``` // 处理成功 false 表示不批量处理，批量处理容易丢失信息,消息会被rabbitmq broker 删除。 channel.basicAck(envelope.getDeliveryTag(), false); // 处理失败 重新入队 channel.basicNack( ......

1.MQ知识扩充 1.1 什么是MQ消息中间件 MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。它是应用程序和应用程序之间的通信方法 1.2 为什么使用MQ 【注：在项目中，可将一些无需即时返回且耗时的操作提取出来，进行异步处理，而这种异步处理的方式大大的节省了 ......

> 有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准`https://blog.zysicyj.top` [首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文 ......

问： 当某个 topic 的分区数发生变化时，之前已经写入的消息可能会被重新分配到不同的分区中。这里说是不是消息已经分配到分区中，在分区数变化后，也会重新分配 答： 是的，当某个 Kafka 主题（topic）的分区数发生变化时，已经写入该主题的消息可能会被重新分配到不同的分区中。这是因为Kafka ......

问： 会影响到消息的准确性吗？ 答： 分区数的变化通常不会直接影响消息的准确性，因为 Kafka 的分区机制旨在提供消息的持久性和可靠性。消息在写入分区时会被持久化，并且 Kafka 会确保消息不会丢失。但是，分区数的变化可能会对消息的处理和消费产生一些间接影响，可能会导致消息被重新分配到不同的分区 ......

问： 如果是使用消息键保证顺序性，当重新分区后，相同key的消息顺序会改变吗？ 答： 使用消息键（Message Key）可以确保具有相同键的消息被写入到同一个分区中，从而在分区内保持消息的顺序性。这意味着只要相同键的消息始终被写入相同的分区，它们的顺序就会得到保持。 然而，当分区数发生变化时，可能 ......

1.如何保证消息队列的高可用啊？ RabbitMQ是比较有代表性的，因为是基于主从做高可用性的，我们就以他为例子讲解第一种MQ的高可用性怎么实现。 rabbitmq有三种模式：单机模式，普通集群模式，镜像集群模式 (1)单机模式 (2)普通集群模式 意思就是在多台机器上启动多个rabbitmq实例， ......

## 前言 在之前的发布确认中，生产者发送消息到mq中，消费者在从mq中取出消息满足持久化的. 发布确认是一个保证RabbitMQ 可靠性的一个机制 保证生产者将信息成功的发送到 RabbitMQ的 server端了，那么broker就会回一个确认，如果没有收到或者收到拒绝信息，那么说明可能网络不好 ......

1. 安装Socat 在线安装依赖环境： yum install gcc ​ yum install socat ​ yum install openssl yum install openssl-devel 2. 安装Erlang Erlang百度云盘资源链接安装包 提取码：6666 ​ mkdi ......

Kafka 3.x，Kraft模式，账号密码方式，SASL+PLAINTEXT+SCRAM 认证授权，用户的分类，命令行创建用户，查看账号信息，认证授权的配置，将账号授权到Topic，写入与读取的权限，创建用户凭证，以用户凭证连接到Kafka，.NET用户凭证接入。 ......

# 使用Nginx做页面采集, Kafka收集到对应Topic_6XwWe5qWHGM2PojVPUSejM # 使用Nginx做页面采集, Kafka收集到对应Topic # 0.架构简介 模拟线上的实时流，比如用户的操作日志，采集到数据后，进行处理，暂时只考虑数据的采集，使用`Html+Jque ......

## 概念 所谓“延迟消息”是指当消息被发送以后，并不想让消费者立刻拿到消息，而是等待特定时间后，消费者才能拿到这个消息进行消费 ## 使用场景 1、订单在十分钟之内未支付则自动取消 2、预定会议后，需要在预定时间点前十分钟通知各个与会人员参加会议。 3、淘宝七天自动确认收货，自动评价功能等 ## ......

## 死信的概念 死信队列（Dead Letter Queue）是指当消息无法被消费者正常消费时，将这些无法消费的消息发送到专门的死信队列中，以便进行进一步的处理。这种处理方式通常被称为“死信处理”。 应用场景:为了保证订单业务的消息数据不丢失，需要使用到 RabbitMQ 的死信队列机制，当消息 ......

docker pull rabbitmq docker run -d --hostname myrabbitmq --name rabbitmq -p 15672:15672 -p 5672:5672 rabbitmq docker exec -it rabbitmq /bin/bash rabbi ......

## 概念 RabbitMQ 消息传递模型的核心思想是: **生产者生产的消息从不会直接发送到队列**。实际上，通常生产 者甚至都不知道这些消息传递传递到了哪些队列中。 相反，**生产者只能将消息发送到交换机(exchange)**，交换机工作的内容非常简单，一方面它接收来 自生产者的消息，另一方面 ......

## 概念 消息是可以持久化保存的，持久的目的是为了处理任务丢失情况的，采用持久化可以保证消息存储，且消息不被丢失。 默认情况下 RabbitMQ 退出或由于某种原因崩溃时，它忽视队列 和消息，除非告知它不要这样做。确保消息不会丢失需要做两件事： **我们需要将队列和消息都标 记为持久化。** ## ......

## 前言 对于mq来说，默认采用的是轮询的消息发送模式，例如一个生产者对接多个消费者，那么发送消息时，消费者1接收一个消息后就轮到了消费者2接收，依次类推大致的算法就是取模的方式。 但是在某种场景下这种策略并不是 很好，比方说有两个消费者在处理任务，其中有个消费者 1 处理任务的速度非常快，而另外 ......

# MQ中的消息应答 ## 前言 在消息队列当中，生产者发送消息给消费者，其中生产者通过中间件也就是rabbitmq将消息存储到此处，由消费者从mq中获取消息，并处理之后的逻辑，由于mq默认是采用自动应答机制，消费者在获取消息后就会通知mq，mq此时就会将消息内容删除，但是此时处理业务逻辑时发生了某 ......

导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......

骤修改kakfa配置文件config/server.properties 1、 修改listeners,这里配置本机kafka的监听地址 listeners=INSIDE://内网ip:9091,OUTSIDE://外网ip:9092 修改前 listeners= PLAINTEXT://10.12 ......

### 推送kafka消息的指令： bin/kafka-console-producer.sh --broker-list 10.1.12.100:9092 --topic setPointValue 这个指令执行入，就会进入一个输入指令的状态，就是 光标变成 ">" 的状态 ### kafka消息 ......

总结 1.Producer 端压缩、Broker 端保持、Consumer 端解压缩。 2.开启压缩的最佳实践： Producer 端完成的压缩，那么启用压缩的一个条件就是 Producer 程序运行机器上的 CPU 资源要很充足。 如果你的环境中带宽资源有限，那么我也建议你开启压缩。如果你的机器 ......

##前言 ###1.kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch ......