rabbitmq rocketmq kafka
kafka 消息的无状态和消息的零拷贝
1 简介 零拷贝是指将数据直接从磁盘文件复制到网卡，而不需要经由应用之手。 零拷贝大大提高了应用程序的性能，减少了内核和用户模式之间的上下文切换。 对Linux操作系统而言，零拷贝技术依赖于底层的sendfile()方法实现，对于Java语言，FileChannel.transferTo()方法的底 ......
centos 7 安装RabbitMQ
RabbitMQ是一个开源的遵循 AMQP协议实现的基于 Erlang语言编写，即需要先安装部署Erlang环境再安装RabbitMQ环境。 Linux系统：CentOS7.x （如果是CentOS8.x的话，需要修改下面两个环境版本号中的el7为el8） Erlang： erlang-22.3.4 ......
Rabbitmq：消息队列介绍、Rabbitmq安装、 基于Queue实现生产者消费者模型、基本使用（生产者消费者模型）、消息安全之ack、 消息安全之durable持久化、发布订阅闲置消费、
[toc] ### 一、消息队列介绍 #### 1.1介绍 消息队列就是基础数据结构中的“先进先出”的一种数据机构。想一下，生活中买东西，需要排队，先排的人先买消费，就是典型的“先进先出” 上已经安装了 Java 开发工具包（JDK）。Kafka 是用 ......
rabbitmq在.net中的使用
在 .NET 中使用 RabbitMQ 的步骤如下： 安装 RabbitMQ 首先，您需要在系统上安装 RabbitMQ。您可以从 RabbitMQ 官方网站下载适用于您所使用的操作系统的安装程序。如果您使用的是 Windows 操作系统，则可以从 Microsoft 官网下载安装程序。 安装 Ra ......
【Azure 事件中心】Kafka 生产者发送消息失败的分析步骤
问题描述 Azure Event Hubs -- Kafka 生产者发送消息存在延迟接收和丢失问题， 在客户端的日志中发现如下异常： 2023-06-05 02:00:20.467 [kafka-producer-thread | producer-1] ERROR com.deloitte.com ......
何时使用Kafka而不是RabbitMQ
Kafka 和 RabbitMQ 都是流行的开源消息系统，它们可以在分布式系统中实现数据的可靠传输和处理。Kafka 和 RabbitMQ 有各自的优势和特点，它们适用于不同的场景和需求。本文将比较 Kafka 和 RabbitMQ 的主要区别，并分析何时使用 Kafka 而不是 RabbitMQ。 ......
linux-kafka
# kafka ## 一、单点部署 > docker-compose创建参考地址 > > https://gitee.com/jasonyin2020/docker-compose/tree/master ### 1.下载kafka软件包 ```sh [root@elk101.com ~]# ll ......
RabbitMQ
一、 MQ （MessageQueue）：消息队列，字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。 RabbitMQ是基于Erlang语言开发的开源消息通信中间件。 二、 安装RabbitMQ 拉取RabbitMQ镜像：docker pull rabbitmq:3-manageme ......
SpringCloud使用RabbitMQ 实现微服务之间的异步调用
最近公司内部员工为了完成小程序分裂考核任务，使用黑客软件发起大量请求刷任务，导致后台小程序模块A的微服务卡死， 微服务B调用了微服务A的微信消息推送功能，其他微服务又调用微服务B...... 由于微服务A卡死，服务调用链产生阻塞，新的请求不断来到，阻塞的线程越来越多，最终因服务器资源耗尽而导致整个系 ......
kafka核心
#### kakfa核心 * topic * topic类似于**文件系统中的文件夹**，事件就是该文件夹的**文件**。 * kafka中的主题总是**多生产者和多订阅者**，一个主题可以有零个、一个或多个写入事件的生产者，订阅者同样如此。可以根据需要随时读取主题中的事件。 * 与传统消息传递方式 ......
kafka集群搭建
https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 安装准备 请确保zookeeper集群的正常启动 可参考：大数据学前准备--zookeeper详解与集群搭建（保姆级教程） 2 下载kafka Apache Kafka ......
kafka03 Kafka高可用
1 Replication(拷贝) Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Pa ......
kafka基础
#### kafka基础知识 * kafka简介 * kafka是一个高性能、分布式的流数据平台，是一个分布式的发布-订阅系统和一个强大的队列 * 特点： * 高性能 * 使用顺序读写磁盘的方式来存储和读取消息 * 可扩展 * 采取分布式设计（支持Server间的消息分区和分布式消费，同时保证每个p ......
kafka02 kafka术语和架构简介
1 Kafka中的术语解释概述 在深入理解Kafka之前，先介绍一下Kafka中的术语。 1.1 图示 上图中一个topic配置了3个partition。 Partition1有两个offset：0和1。Partition2有4个offset。Partition3有1个offset。副本的id和副本 ......
kafka01 kafka及消息队列简介
1 Kafka是什么 Kafka是一种高吞吐量的分布式发布订阅消息系统（消息引擎系统）。 2 消息系统简介 一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有 ......
python操作rabbitmq
rabbitmq安装部署 RabbitMq生产者消费者模型 生产者（producter） 队列消息的产生者，复制生产消息，并将消息传入队列生产者代码： import pika import json credentials = pika.PlainCredentials('admin','admin ......
rabbitmq安装部署和常用命令
python操作rabbitmq rabbitmq实现可以使用java或者springboot的封装方法，自己创建实现，也可以使用中间件实现，相对于自建，使用rabbitmq应用场景及使用更系统安全。本文具体介绍rabbitmq中间件部署。 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合， ......
RocketMQ安装教程
RocketMQ是阿里巴巴在2012年开发的分布式消息中间件，专为万亿级超大规模的消息处理而设计，具有高吞吐量、低延迟、海量堆积、顺序收发等特点。它是阿里巴巴双十一购物狂欢节和众多大规模互联网业务场景的必备基础设施。在同一年，阿里巴巴正式开源了RocketMQ的第一个版本。 2015年，Rocket ......
Apache RocketMQ EventBridge：构建下一代事件驱动引擎
事件驱动，这个词在部分人印象中，它是一个过时的技术——没什么新意。从时间上看，确实也是这样，上世纪 60 年代，事件驱动就已经被正式提出，经常会被在 GUI 编程中。但是在有些人印象中，事件驱动又是一个非常陌生，非常新颖的技术。 ......
docker部署rocketmq
参考网址：https://www.cnblogs.com/MUQINGFENG123/p/17036619.html 一、拉镜像 docker pull foxiswho/rocketmq:server-4.7.0 （拉取镜像） docker pull foxiswho/rocketmq:broke ......
使用PhpAmqpLib常用的2种连接rabbitmq的方式
#connect to AMQP broker at example.comuse PhpAmqpLib\Connection\AMQPStreamConnection;$amqp = new AMQPStreamConnection('example.com', 5672, 'user', 'pw ......
kafka学习之五_多个磁盘的性能验证
# kafka学习之五_多个磁盘的性能验证 ## 背景 ``` 周末在家学习kafka 上午验证了grafana+kafka_exporter的监控 下午想着验证一把性能相关. kafka学习之三里面,有成套的脚本. 我这边想起来之前还有一个机器, 是四个单盘HDD, 我可以直接进行使用和验证. ` ......
Kafka学习之四_Grafana监控相关的学习
# Kafka学习之四_Grafana监控相关的学习 ## 背景 ``` 想一并学习一下kafaka的监控. 又重新开始学习grafana了: 下载地址: https://grafana.com/grafana/download https://prometheus.io/download/ htt ......
通过Maxwell同步mysql数据至kafka
# 实验环境 本地虚拟机 maraidb 10.8.8 kafka 2.12-3.3.1 maxwell由容器部署 # 1 mariadb ## 1.1 配置log_bin 配置文件中加入如下内容 ``` server-id = 111 log_bin = mysql-bin binlog_form ......
debezium同步mysql数据至kafka（未完待续）
# 实验环境 全部部署于本地虚拟机 # 1 mysql 参考 官方文档 和 根据官方示例镜像（debezium/example-mysql，mysql版本为8.0.32） ## 1.1 创建用户 官方镜像里一共有三个账号 debezium：connect用户 mysqluser：普通用户 repli ......
使用 Spring AMQP 操作 RabbitMQ
RabbitMQ 采用 Erlang 语言开发，同时具有高可用性、高可靠性、消息低延迟，支持的多种开发语言的等优点，是当前比较流行的综合性最好的消息队列。当然有些杠精肯定会拿 RocketMQ 和 Kafka 等消息队列的相关性能跟 RabbitMQ 进行对比说事儿，这里不进行评价，你们这些杠精开心 ......
Docker 安装redis、mysql、nginx、rabbitmq
# rabbitmq docker run -d --name myrabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3.7.7-management # redis docker run -d -p 6379:6379 --name myredis red ......
下载rabbitmq和erlang的.rpm文件
今天也是从网上找了好久下载资源地址，看到了有些文章需要花钱才能拿到文件，有些文章不是全部都有，特此记录一下！ **1. 首先进入rabbitmq官网找，查看rabbitmq对应的erlang之间对应的版本信息** 网址：[RabbitMQ Erlang Version Requirements — ......