rabbitmq rocketmq kafka
Centos7部署zookeeper+kafka
一、Zookeeper 概述 1、Zookeeper 定义 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 2、Zookeeper 工作机制 Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据， ......
如何在 Linux 上部署 RabbitMQ
如何在 Linux 上部署 RabbitMQ 目录如何在 Linux 上部署 RabbitMQ安装 Erlang从预构建的二进制包安装从源代码编译 ErlangRabbitMQ 的安装使用 RabbitMQ Assistant 连接 RabbitMQ Assistant 是一款优秀的RabbitMQ ......
RabbitMQ安装，操作
rabbitMQ安装 安装环境 ubuntu安装erlang语言环境 apt install erlang-nox 安装rabbitmq-server wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | sudo ......
Linux安装Kafka
前言 本文Kafka演示版本依赖Zookeeper，需要先安装Zookeeper：Linux安装Zookeeper 1. 解压文件 tar -zxvf kafka_2.12-2.7.0 2. 修改配置文件，日志输出地址 vim config/server.properties log.dirs=/o ......
RocketMQ【消息丢失】
一、流程图 二、消息丢失场景 2.1、场景1中生产者将消息发送给Rocket MQ的时候，如果出现了网络抖动或者通信异常等问题，消息就有可能会丢失。 2.2、场景2中消息需要持久化到磁盘中，这时会有两种情况导致消息丢失： 1、RocketMQ为了减少磁盘的IO，会先将消息写入到os cache中，而 ......
kafka启动报错
一、kafka启动报错： java.nio.file.FileSystemException: D:\kafka_2.12-2.1.0\kafka_2.12-2.1.0\logs\__consumer_offsets-30\00000000000000000000.timeindex.cleaned ......
docker 部署 rabbitmq集群
rabbitmq集群: pull: docker pull rabbitmq 普通模式(默认): what: 集群中各节点有相同的队列结构， 但消息只会存在于集群中的一个节点。 对于消费者来说， 若消息进入 A 节点的 Queue 中， 当从 B 节点拉取时， RabbitMQ 会将消息从 A 中取 ......
【kafka】Kafka压力测试
kafka 自带的压测工具 kafka-producer-perf-test.sh 和 kafka-consumer-perf-test.sh ./bin/kafka-producer-perf-test.sh --topic kafka-test --num-records 10000 --rec ......
xixa oraclelinux上kafka集群部署(一)----kafka安装
kafka部署前提：需要安装jdk1.7以上版本、zookeeper 官网下载：http://kafka.apache.org/quickstart kafka配置 配置server.properties文件中zookeeper配置，如果集群应该怎么配置？还需要尝试 配置kafka集群 在bin目录 ......
Kafka JNDI 注入分析（CVE-2023-25194）
Apache Kafka 是一个分布式数据流处理平台，可以实时发布、订阅、存储和处理数据流。Kafka Connect 是一种用于在 kafka 和其他系统之间可扩展、可靠的流式传输数据的工具。攻击者可以利用基于 SASL JAAS 配置和 SASL 协议的任意 Kafka 客户端，对 Kafka ... ......
Kafka入门
Kafka 定义 Kafka是一个分布式的流处理平台，它具有以下特性： 磁盘保存数据 伸缩性 术语 生产者 生产者是消息的创造者，可以指定 Topic,Partion,Key,Value，并将消息发送到Kafka集群中的Broker。 消费者 消费者负责从Kafka集群中读取消息。 需要设置偏移量 ......
RabbitMq
为啥要用rabbitmq 1，松耦合结构(解耦，异步处理，缓冲能力，伸缩性，扩展性） 2，性能是万级的 rabbitmq的生产者：rabbitmq的生产者如何保证数据安全问题： 1,发送者确认 2，失败者通知rabbitmq的消费者rabbitmq的消费者如何保证数据安全问题： 1，手动消费确认ra ......
Introducing the core concepts of Kafka
Introduction I have learnt the kafka since 5 years, I believe I learnd somthing, It is on time for improving english. So I decided to pick up my blogs ......
Spring Boot中使用RabbitMQ完成延迟功能
MQ-消息队列简单来说就是将“消息”放到“队列”中，然后慢慢处理队列中的消息。 完成延迟功能总体的思路是将消息放到队列中，为消息设置过期时间，不直接处理这个队列中的消息， 等到消息过期，将它转到另一个队列进行处理，从而完成延迟功能。 基本概念 1. 队列 队列是RabbitMQ的内部对象，用来存储消 ......
Springboot整合RabbitMQ---延迟队列
延迟队列插件地址：https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/releases/tag/v3.12.0 下载后复制到D:\RabbitMQ Server\rabbitmq_server-3.10.5\plugins（路径 ......
oraclelinux上kafka集群部署(一)----zookeeper安装
安装zookeeper需要先安装jdk，至少1.7以上版本。 下载：https://zookeeper.apache.org/releases.html#download 解压：tar -zvxf apache-zookeeper-3.8.3-bin.tar.gz 配置 进入zookeeper目录下 ......
Spring Kafka: UnknownHostException: 34bcfcc207e0
参考: https://stackoverflow.com/questions/69527813/spring-kafka-unknownhostexception-34bcfcc207e0 我遇到的问题和@Adán Escobar是一样的。 在SpringBoot整合kafka的时候日志报了Spr ......
docker-compose部署rocketmq集群
参考博文：https://blog.csdn.net/bacawa/article/details/130521794 1、安装docker-compose 2、通过docker search apache/rocketmq搜索镜像，本来想看一下镜像的版本，但是没有找到对应的命令，最后用了比较粗暴的 ......
Springboot整合RabbitMQ值Direct交换机
常用的交换机有以下三种，因为消费者是从队列获取信息的，队列是绑定交换机的（一般），所以对应的消息推送/接收模式也会有以下几种： Direct Exchange 直连型交换机，根据消息携带的路由键将消息投递给对应队列。 大致流程，有一个队列绑定到一个直连交换机上，同时赋予一个路由键 routing k ......
kafka配置-代码配置篇
KafkaProducerConfig @Configuration @EnableKafka public class KafkaProducerConfig { /** * Producer Template 配置 */ @Bean(name = "kafkaTemplate") public ......
kafka配置-yml篇
spring: kafka: template: # 当使用 kafkaTemplate 的 sendDefault 方法的时候，使用的是这里配置的 topic defaultTopic: topic-1 # partition-num 和 replication-num KafkaProperti ......
【面试题】消息队列面试题总结（RocketMQ版）
自己整理、总结了一些消息队列相关面试题，并想了一些RocketMQ面试过程中可能会问的知识点。 使用消息队列的优点 系统解耦 比如系统A产生的某个事件，系统B需要感知，简单实现就是在系统A产生事件之后，调用系统B的接口通知系统B，如果此时再增加一个系统C，还需要修改系统A的代码，再加入调用系统C接口 ......
RocketMQ 使用注意事项
场景： 最近公司项目要用Rocket MQ，但是之前我没用过。所以在使用过程中遇到一些问题，做个记录。这篇主要是将注意事项，不涉及底层实现原理（还没学透）。 而且这里用的RocketMQ是指Apache的4.X，不是阿里云的，注意两者的不同。 解决： 1.保持订阅关系一致：订阅关系一致指的是同一消费 ......
基于Docker Desktop搭建Kafka集群并使用Java编程开发
一、引言 前段时间因课业要求使用Docker Desktop 部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。 二、Docker集群构建 安装环境: Windows 10 2.1 启用或关闭wi ......
Python Kafka客户端confluent-kafka学习总结
实践环境 Python 3.6.2 confluent-kafka 2.2.0 confluent-kafka简介 Confluent在GitHub上开发和维护的confluent-kafka-python，Apache Kafka®的一个python客户端，提供了一个与所有brokers>=v0. ......
kafka常见报错
ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator [] -[Consumer clientID=consumer-1,groupID=7f92057408079$94BEXWEC] Offset commit ......
[Flink/Kafka] Flink消费Kafka消息的检查点设置方式 [转载]
flink消费kafka 本机java代码测试 flink消费kafka机制 flink 消费 kafka 数据，提交消费组 offset 有三种类型 1、开启 checkpoint ： 在 checkpoint 完成后提交 2、开启 checkpoint，禁用 checkpoint 提交： 不提交 ......
Kafka常用命令
Kafka实操命令 kafka版本：scala2.11，kafka1.1.0 kafka_2.11-1.1.0.jar Kafka命令行操作 1）查看当前服务器中的所有topic kafka-topics.sh --zookeeper hadoop111:2181/kafka --list 2）创建 ......
java——kafka随笔——broker&主题-topic&分区-partition理解
首先，让我们来看一下基础的消息(Message)相关术语： 名称解释 Broker 消息中间件处理节点，⼀个Kafka节点就是⼀个broker，⼀个或者多个Broker可以组成⼀个Kafka集群 Topic Kafka根据topic对消息进⾏归类，发布到Kafka集群的每条消息都需要指定⼀个topi ......
聊聊 RocketMQ 消息轨迹
这篇文章，我们聊一聊 RocketMQ 的消息轨迹设计思路。 查询消息轨迹可作为生产环境中排查问题强有力的数据支持 ，也是研发同学解决线上问题的重要武器之一。 1 基础概念 消息轨迹是指一条消息从生产者发送到 Broker , 再到消费者消费，整个过程中的各个相关节点的时间、状态等数据汇聚而成的完整 ......