rabbitmq kafka
SpringBoot2集成RabbitMQ（注解+回调）
一、概述 RabbitMQ 是实现 AMQP（高级消息队列协议）的消息中间件的一种，最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。RabbitMQ 主要是为了实现系统之间的双向解耦而实现的。当生产者大量产生数据时，消费者无法快速消费，那么需要一个中间层 ......
进击消息中间件系列（一）：Kafka 入门（基本概念与架构）【转】
在这之前，我们相继卷完了：关系型数据库 MySQL 、 NoSQL 数据库 Redis 、 MongoDB 、搜索引擎 ElasticSearch 、大数据 Hadoop框架、PostgreSQL 数据库这些系列的知识体系。今天开始，我们将踏上另一个学习之路：中间件！第一个要学习的中间件就是：Kaf ......
rabbitmq #method<connection.close>(reply-code=530, reply-text=NOT_ALLOWED
一、概述 在SpringBoot集成RabbitMQ，启动项目的时候报错 Caused by: com.rabbitmq.client.ShutdownSignalException: connection error; protocol method: #method<connection.clo ......
rabbitmq Broker not available; cannot force queue declarations during start: java.util.concurrent.TimeoutException
一、概述 使用SpringBoot集成RabbitMQ遇到的问题。 2023-09-20 14:19:39.655 INFO 10256 [ restartedMain] o.s.b.w.embedded.tomcat.TomcatWebServer : Tomcat started on port ......
ubuntu安装RabbitMQ
一、概述 本地需要做RabbitMQ测试，想着安装包本地不利于来回换机子测试。就想着把其安装到云服务上，云服务的系统是ubuntu系统。这样通过远程连接，就不需要担心换机器的时候RabbitMQ用不了的问题了。可谓一次安装到处使用 二、示例，备注：这里直接安装最新版的 1.安装erlang。遇到询问 ......
浅析 kafka 的 DelayedOperation
在 kafka broker 内部，当执行一些需要等待的任务时（比如 broker 处理 producer 的消息，需要等待消息同步到其他副本），会使用到 DelayedOperationPurgatory 和 DelayedOperation，大致流程如下图： 顶层的类是 DelayedOpera ......
一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好
在 TDengine 3.0 中，我们对流式计算、数据订阅功能都进行了再升级，帮助用户极大简化了数据架构的复杂程度，降低整体运维成本。TDengine 提供的类似消息队列产品的数据订阅、消费接口，本质上是为了帮助应用实时获取写入 TDengine 的数据，或者以事件到达顺序处理数据，与其他消息队列相 ......
embeddedkafka 方便测试的基于内存的kafka 实现
embeddedkafka 方便测试的基于内存的kafka 实现，可以用来方便的进行基于kafka 周边的测试目前embeddedkafka提供了stream，core，conenct 以及schema-registry，对于测试场景是一个不错的选择 参考资料 https://github.com/ ......
消息队列 - RabbitMQ
RabbitMQ简介 RabbitMQ 是一个广泛使用的开源消息队列系统，它实现了高级消息队列协议（AMQP）标准，为分布式应用程序提供了强大的消息传递功能。RabbitMQ 是 Erlang 语言编写的，具有高度的可扩展性和可靠性，因此被广泛用于构建分布式、异步的消息通信系统。 以下是关于 Rab ......
RabbitMQ
下载与安装 erlang 由于RabbitMQ是基于erlang的，所以，在正式安装RabbitMQ之前，需要先安装一下erlang。 erlang与RabbitMQ版本的对应关系，如：RabbitMQ3.6.10，建议的erlang版本是19.3.x(安装前必看) Erlang下载地址（各版本都可 ......
【Kafka系列】（二）Kafka的基本使用
有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top 首发博客地址 文章更新计划 系列文章地址 Kafka线上集群部署方案怎么做 操作系统 先说结论，Kafka部署在Linux上要比Windows和Mac上性能高的多，主要是以下几 ......
kafka使用
安装zookeeper 1.拉取zookeeper 镜像 docker pull bitnami/zookeeper:3.4 ## 启动zookeeper docker run -d --name zookeeper \ -p 2181:2181 \ -e ALLOW_ANONYMOUS_LOGIN ......
RabbitMQ 消息应答
每日一句 物是人非事事休，欲语泪先流。 概述 为了保证消息在发送过程中不丢失，RabbitMQ引入了消息应答机制， 消费者在接收到消息并且处理该消息后，告诉RabbitMQ它已经处理了，RabbitMQ可以把消息删除了。 自动应答 消息发送后立即被认为已经传送成功，这种模式需要在高吞吐量和数据传输安 ......
kafka基础
认识Kafaka 最初的定义：消息队列系统 0.10.0版本的定义：分布式流处理平台，发布-订阅消息队列，存储功能、流处理框架 3.x后的定义：分布式流平台，数据管道/集成、流分析 kafka的优势 吞吐量高、性能好 伸缩性好 高容错、高可靠 与大数据生态精密结合 kafka的作用 高并发环境下的缓 ......
kafka
kafka的partiton在实际的消息生产消费过程中是如何使用的。 安装 zookeeper安装 jdk安装~ #zookeeper 默认端口2181 数据缓存位置：zoo.cfg => dataDir=xxx 1.启动方式 ./zkServer.sh stop ./zkServer.sh sta ......
rabbitmq-如何确定消息发送到Broker
交换机 1 工作生活中的交换机/路由器 转发网络信号,且只是转发 网络信号。 2 可以控制黑名单，隐藏网络，权限控制 除了信号不是他提 供的，他只是转发信号服务外，其他的事儿，他是可以控制 的。 rabbitmq-如何确定消息发送到Broker Confirm方式有三种模式： 1、普通Confirm ......
RabbitMQ如何保证消息的可靠性
RabbitMQ如何保证消息的可靠性1、保证消息不丢失(三步)开启事务(不推荐)开启confirm(推荐)开启RabbitMQ持久化(交换机、队列、消息)关闭RabbitMQ自动ack(改成手动)2、保证消息不重复消费幂等性 ( 每个消息用一个唯一标识来区分，消费前先判断标识有没有被消费过，若已消费 ......
Kafka的零拷贝技术Zero-Copy
传统的拷贝过程 流程步骤： （1）操作系统将数据从磁盘文件中读取到内核空间的页面缓存； （2）应用程序将数据从内核空间读入用户空间缓冲区； （3）应用程序将读到数据写回内核空间并放入socket缓冲区； （4）操作系统将数据从socket缓冲区复制到网卡接口，此时数据才能通过网络发送。 此过程涉及到 ......
RabbitMQ如果保证消息可靠性
这是RabbitMQ消息从生产者到消费者的流程。 从图中可以看出消息可能在以下几个地方丢失 生产者处丢失：消息没有正确到达RabbitMQ的交换机。 解决策略：confirm机制 RabbitMQ本身将消息丢失：因为一些原因导致RabbitMQ重启，导致内存中的消息丢失。 解决策略：消息持久化 消费 ......
RabbitMq
如何保证消息的可靠性 Rabbit 消息传输路径是生产者到路由 到 队列 到消费者消费。 而Rabbit mq丢消息有以下几种情况 1生产者发送消息到RabbitMQ服务器过程中，RabbitMQ服务器如果宕机停止服务，消息会丢失。 RabbitMQ是支持消息持久化的，消息持久化需要设置：Excha ......
kafka中topic相关命令
坑 1、在windows里安装的kafka相关命令一定要是bin\windows目录下 // 正确示例 .\bin\windows\kafka-topics.bat --bootstrap-server localhost:9092 --list // 错误示例 .\bin\kafka-topics ......
kafka
Kafka学习笔记_day01适用场景：大数据场景消息队列模式点对点模式消费者主动拉取数据，消息收到以后清除消息发布/订阅模式可以存在多个Topic主题消费者消费完数据以后，不删除数据每个消费者相互独立，都可以消费到数据基础架构内部将一个Topic(主题)分为了多个partition(分区)，并配合 ......
Kafka与RabbitMQ
一、什么是kafka，什么是rabbit Kafka是由Scala语言开发的一种分布式流处理框架，主要用于处理活跃的流式数据，以及大数据量的数据处理。它采用发布-订阅模型，支持消息的批量处理，数据的存储和获取是本地磁盘顺序批量操作，这使得消息处理的效率较高，吞吐量较大。 RabbitMQ则是由Erl ......
记一次rabbitmq队列阻塞
一，问题 通过rabbitmq可视化界面看到其中有一个队列未消费数量有5万多，而且在持续增加中 二，分析 1，上网了解了rabbitmq原理后，从未消费的队列中看到unacked一直没有变化，而consumers中有存在消费者，所以应该是程序有收到消息，却一直卡主，没有返回ack给rabbitmq。 ......
KafKa概述
概述 KafKa就是一个消息队列： 作用概况为：解耦、异步、削峰 https://juejin.cn/post/6996826368512098317 使用消息队列的好处 解耦 （类似Spring的IOC） 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 可恢复性 系统的一部 ......
深入理解Kafka（二）、消费者
1、客户端开发 一个消费者应该具有的几个步骤： 配置消费者客户端参数以及创建消费者实例； 订阅主题； 拉取消息并消费； 提交消息位移； 关闭消费者实例； Kafka 消费者示例 public class KafkaConsumerAnalysis { public static final Stri ......
filebeat收集nginx日志发送到kafka，Logstash 读取 Kafka 日志消息队列到Elasticsearch，kibana做图形展示
服务器配置 es集群：10.0.0.70、10.0.0.71、10.0.0.72kibana：10.0.0.73mysql：10.0.0.73filebeat1-web1：10.0.0.74filebeat2-web2：10.0.0.76kafka1-logstash1：10.0.0.77kafka ......
Kafka 生产和消费消息（命令行下）
注：生产消息之前要先建立topic,如下图所示 以下是kafka-topics.bat命令的几个参数介绍 1.生产消息 2.消费消息 ......
RabbitMQ、RocketMQ和Kafka的不同之处
RabbitMQ、RocketMQ和Kafka是三种常见的消息队列系统，它们在设计和使用方面有一些不同之处： 架构设计： RabbitMQ：RabbitMQ是一个基于AMQP（高级消息队列协议）的开源消息队列系统，采用的是传统的Broker架构模式，其中包括生产者、消费者和中间件（Broker）。 ......
一次kafka消息丢失问题处理
背景&现象 生产微服务架构环境，kafka消息消费服务架构如下： 当服务B接口出现宕机或者B接口调用超时，kafka消息消费端服务A出现异常，异常发生后未执行手动提交offset操作。待服务B恢复后，消费端A服务也恢复正常，但之前消费异常的消息在broker自动变为已消费，实际未消费（数据库中无处理 ......