rabbitmq rocketmq kafka

# 使用Nginx做页面采集, Kafka收集到对应Topic_6XwWe5qWHGM2PojVPUSejM # 使用Nginx做页面采集, Kafka收集到对应Topic # 0.架构简介 模拟线上的实时流，比如用户的操作日志，采集到数据后，进行处理，暂时只考虑数据的采集，使用`Html+Jque ......

## 概念 所谓“延迟消息”是指当消息被发送以后，并不想让消费者立刻拿到消息，而是等待特定时间后，消费者才能拿到这个消息进行消费 ## 使用场景 1、订单在十分钟之内未支付则自动取消 2、预定会议后，需要在预定时间点前十分钟通知各个与会人员参加会议。 3、淘宝七天自动确认收货，自动评价功能等 ## ......

## 死信的概念 死信队列（Dead Letter Queue）是指当消息无法被消费者正常消费时，将这些无法消费的消息发送到专门的死信队列中，以便进行进一步的处理。这种处理方式通常被称为“死信处理”。 应用场景:为了保证订单业务的消息数据不丢失，需要使用到 RabbitMQ 的死信队列机制，当消息 ......

docker pull rabbitmq docker run -d --hostname myrabbitmq --name rabbitmq -p 15672:15672 -p 5672:5672 rabbitmq docker exec -it rabbitmq /bin/bash rabbi ......

## 概念 RabbitMQ 消息传递模型的核心思想是: **生产者生产的消息从不会直接发送到队列**。实际上，通常生产 者甚至都不知道这些消息传递传递到了哪些队列中。 相反，**生产者只能将消息发送到交换机(exchange)**，交换机工作的内容非常简单，一方面它接收来 自生产者的消息，另一方面 ......

## 概念 消息是可以持久化保存的，持久的目的是为了处理任务丢失情况的，采用持久化可以保证消息存储，且消息不被丢失。 默认情况下 RabbitMQ 退出或由于某种原因崩溃时，它忽视队列 和消息，除非告知它不要这样做。确保消息不会丢失需要做两件事： **我们需要将队列和消息都标 记为持久化。** ## ......

## 前言 对于mq来说，默认采用的是轮询的消息发送模式，例如一个生产者对接多个消费者，那么发送消息时，消费者1接收一个消息后就轮到了消费者2接收，依次类推大致的算法就是取模的方式。 但是在某种场景下这种策略并不是 很好，比方说有两个消费者在处理任务，其中有个消费者 1 处理任务的速度非常快，而另外 ......

# MQ中的消息应答 ## 前言 在消息队列当中，生产者发送消息给消费者，其中生产者通过中间件也就是rabbitmq将消息存储到此处，由消费者从mq中获取消息，并处理之后的逻辑，由于mq默认是采用自动应答机制，消费者在获取消息后就会通知mq，mq此时就会将消息内容删除，但是此时处理业务逻辑时发生了某 ......

导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......

骤修改kakfa配置文件config/server.properties 1、 修改listeners,这里配置本机kafka的监听地址 listeners=INSIDE://内网ip:9091,OUTSIDE://外网ip:9092 修改前 listeners= PLAINTEXT://10.12 ......

### 推送kafka消息的指令： bin/kafka-console-producer.sh --broker-list 10.1.12.100:9092 --topic setPointValue 这个指令执行入，就会进入一个输入指令的状态，就是 光标变成 ">" 的状态 ### kafka消息 ......

总结 1.Producer 端压缩、Broker 端保持、Consumer 端解压缩。 2.开启压缩的最佳实践： Producer 端完成的压缩，那么启用压缩的一个条件就是 Producer 程序运行机器上的 CPU 资源要很充足。 如果你的环境中带宽资源有限，那么我也建议你开启压缩。如果你的机器 ......

##前言 ###1.kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch ......

## 1. 简介 **Kafka（Apache Kafka）** 是一种分布式流数据平台，最初由LinkedIn开发，并于后来捐赠给Apache软件基金会，成为了一个Apache顶级项目。它被设计用于处理大规模、实时的数据流，并为构建高吞吐量、容错性强的数据流应用程序提供支持。Kafka的特点使得它 ......

## 安装： > https://www.rabbitmq.com/download.html ### 1、环境 查看系统版本 ```bash # lsb_release -a # cat /etc/centos-release ``` 操作系统：CentOS 7.9 64位； > 注意：如果操作系 ......

[toc] ## kafak消费者 ### 消费者总体工作流程 - **kafka消费方式：**consumer采用从broker中主动拉取的方式去消费数据（pull）。为什么不是broker主动推送呢（push），是因为由broker决定发送速率很难适应所有消费者。pull模式的缺点是kafka没 ......

[toc] ## kafka生产者 ### 生产者消息发送流程 #### 发送原理 ​ 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulat ......

## RocketMQ 系列(二) 环境搭建 上一个章节对于 RocketMQ 作了一些概念上的介绍，如果你对于 RocketMQ 没有概念，不妨先看[RocketMQ系列(一) 基本介绍](https://www.cnblogs.com/CF1314/p/17662969.html)。 这个章节主 ......

一、在线安装 1.查询rabbitmq的镜像 docker search rabbitmq 2.安装镜像如果需要安装其他版本在rabbitmq后面跟上版本号即可 docker pull rabbitmq:3.7.7-management docker pull rabbitmq:版本号 -manag ......

# kafka3.0 [toc] ## 1. 什么是kafka？ - Kafka传 统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。 - Kafka最 新定义 ： Kafka是 一个开源的 分布式事件流平台 （Event Str ......

RabbitMQ提供了三种类型的队列： Classic Quorum Stream 官方文档 对于流队列的描述是：高性能、可持久化、可复制、非破坏性消费、只追加写入的日志 使用场景： 一个队列将同一条消息分发给不同消费者 可重复消费消息 更高的性能 存储大量消息而不影响性能 更高的吞吐 基本使用 生 ......

上一章节主要介绍了RocketMQ基本介绍和前期准备，以及如何创建生产者。那这一章节主要介绍一下消费端的实现、如何发布消费端，以及遇到的坑怎么去解决。 ......

# Windows下安装Rabbitmq RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的。安装rabbitmq需要先安装erlang环境。 # 环境 - Windows11 我们首先需要下载两个安装包 ......

[toc] # 一 消息队列介绍 ## 1.1 介绍 消息队列就是基础数据结构中的“先进先出”的一种数据机构。想一下，生活中买东西，需要排队，先排的人先买消费，就是典型的“先进先出” message queue：消息队列 简称mq ## 1.2 消息队列解决什么问题？ MQ是一直存在，不过随着微服务 ......

kafka 安装 安装JDK yum install -y java-1.8.0-openjdk.x86_64 查看版本 java -version kafka是分布式的，需要多台机器，并且保证机器之间是免密登录同时需要用zookeeper集群负责管理。 1、kafka版本选择，从官网下载即可，我这 ......

前言 前面说了很多Kafka的性能优点，有些童鞋要说了，这Kafka在企业开发或者企业级应用中要怎么用呢？今天咱们就来简单探究一下。 1、 使用 Kafka 进行消息的异步处理 Kafka 提供了一个可靠的消息传递机制，使得企业能够将不同组件之间的通信解耦，实现高效的异步处理。在企业级应用中，可以通 ......

使用kafka经验 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见 ......

......

......

1. 目标 使用Flink读取Kafka数据并实时写入Hive表。 2. 环境配置 EMR环境：Hadoop 3.3.3, Hive 3.1.3, Flink 1.16.0 根据官网描述： https://nightlies.apache.org/flink/flink-docs-release-1 ......