rabbitmq rocketmq kafka
Kafka 集群参数配置介绍
[TOC] # Broker 端 Broker 端参数也被称为静态参数（Static Configs），必须在 Kafka 的配置文件 server.properties 中进行设置的参数，不管是新增、修改还是删除。同时，你必须重启 Broker 进程才能令它们生效。 ## 存储信息相关参数 - ` ......
docker-compose部署kafka3.4.x without zookeeper
创建数据目录 # mkdir -pv /data/apps/kafka/{kafka1_data,kafka2_data,kafka3_data} # chown -R 1001.1001 /data/apps/kafka/kafka* docker-compose.yaml version: "3 ......
CVE-2023-33246 RocketMQ 远程命令执行漏洞分析
2023年5月23日， Rocketmq 爆出 CVE-2023-33246 RCE高危漏洞。 在一定条件下， 攻击者可以利用该漏洞通过更新配置功能以RocketMQ运行的系统用户身份执行命令 。 漏洞利用与复现 攻击者成功RCE需要满足以下条件 Rocketmq 版本 < 5.1.1 或 < 4. ......
【RabbitMQ】当队列中消息数量超过最大长度的淘汰策略
# 【RabbitMQ】当队列中消息数量超过最大长度的淘汰策略 ## 说明 最近在研究RabbitMQ如何实现延时队列时发现消息进入死信队列的情况之一就是当消息数量超过队列设置的最大长度时会被丢入死信队列，看到这时我就产生了一个疑问，到底是最后插入的消息还是最早插入的消息会被丢入死信队列呢？遗憾的是 ......
RabbitMQ基础学习笔记
一、简介： RabbitMQ是一个实现了AMQP（Advanced Message Queuing Protocol）高级消息队列协议的消息队列服务，用Erlang语言，是面向消息的中间件：相当于一个快递站点，其只负责接收，存储和转发消息数据。 二、界面介绍： RabbitMQ管理界面： #安装启动 ......
springboot下使用rabbitMQ之开发配置方式(一)
## springboot下使用rabbitMQ之开发配置方式(一) 距离上次发布博客已经小一年了，这次...嗯，没错，我又回来啦...😂😂😂 本次结合着B站某MQ视频以及最近在MQ上的实践聊一聊个人在使用rabbitMQ中所得。 **在本章开始前，默认您已通过各种途径安装并在springbo ......
RocketMQ on openEuler 提供高性能消息队列的稳定性解决方案
RocketMQ on openEuler 提供高性能消息队列的稳定性解决方案 openEuler2023-06-27openEuler RocketMQ on openEuler，是一种将 RocketMQ 消息中间件通过容器化的方式部署在 openEuler 操作系统上运行，借助 openEul ......
kafka-es.go
package es import ( "context" "encoding/json" "fmt" "kafka/mongo" "log" "os" "github.com/olivere/elastic" ) var client *elastic.Client var host = "htt ......
kafka-mongo.go
package mongo import ( "context" "fmt" "log" "go.mongodb.org/mongo-driver/bson" "go.mongodb.org/mongo-driver/mongo" "go.mongodb.org/mongo-driver/mongo ......
2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？
2023-07-16：讲一讲Kafka与RocketMQ中零拷贝技术的运用？ 答案2023-07-16： **什么是零拷贝?** 零拷贝(英语: Zero-copy) 技术是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存 ......
RabbitMQ
# .NET6使用RabbitMQ学习 [TOC] ## 前提 前段时间上班无事，上网冲浪看到了消息队列RabbitMQ，就想着学习一下，网上看了点资料在哔哩哔哩上看的到codeman讲的一个rabbitmq的视频，就跟着仔细学习一下，敲一下代码。视频地址： [rabbitmq视频](【【2021最 ......
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？ 答案2023-07-14：  **在Kafka中，文件的布局采 ......
同步同一个Kafka Topic的不同消费者
分布式系统中的同步很困难。您可能的目标是尽可能多地防止它。但有时业务需求需要协调对数据新鲜度有严重依赖的不同服务。 为了概括起见,假设架构由_Service-A_、_Service-B_和_Service-C_组成。它们都使用来自同一个 Kafka 主题的消息,但显然根据各自的业务逻辑、API 和 ......
RabbitMQ相关
1、mq安装：https://blog.csdn.net/sushipenglove/article/details/86669065 2、镜像集群：https://blog.51cto.com/u_15477117/4905546 注意镜像集群修改主机名称后需要重新连接，才可以生效； 过程中相关命 ......
RabbitMQ集群安装
rpm -Uvh *.rpm --nodeps --force 安装依赖(一步步来) rpm -ivh erlang-22.2.1-1.el7.x86_64.rpm rpm -ivh socat-1.7.3.2-2.el7.x86_64.rpm --nodeps --force rpm -ivh r ......
三台服务器配置简易Kafka集群+debug记录
使用了3台阿里云服务器做实验，搭建kafka集群，可以通过java程序生产消息到云服务器。中途遇到许多问题，仅在此记录一些配置信息，安装过程省略。 ## 服务器信息 | host name | 私网IP | 公网IP | | | | | | server001 | 172.24.16.132 | 6 ......
rabbitMQ死信队列和延迟交换机
一、死信队列（deadLetters） 1.死信产生的三种方式 （1）消息被消费者拒绝，requeue设置为false message在正常传输中消费者执行了nack或者reject且requeue变为false则将该message存储到死信交换机，再送入死信队列，重新被其他的消费者消费 （2）消息 ......
rabbitMQ消息可靠性
rabbitMQ消息可靠性 rabbitMQ交换机不负责消息持久化 消息存储到队列中才可以手动开启持久化 生产者端： 如何保证消息一定可以送达Exchange 消费者端： 自动ACK 手动ACK RabbitMQ保证消息可靠性： 1.保证消息一定可以送达Exchange confirm机制 可以通过 ......
rabbitMQ安装
rabbitMQ安装 安装依赖 yum -y install gcc gcc-c++ ncurses-devel openssl-devel unixODBC-devel perl vim 安装Erlang tar -xvf otp_src_26.0-rc1.tar.gz cd otp_src_26 ......
Kafka系列---【Kafka工作原理】
#Kafka工作原理  ##常用概念 - Broker：可以理解为一个节点，一台kafka服务。 - Topic（主题 ......
Rocketmq-背景
## 背景 消息队列（Message Queue，MQ）的三大特性：**异步、解耦、削峰** 在很多场景下，我们的业务是没有那么强的实时性的。 比如登录成功后发送短信，我们不必在登录的逻辑里实时的去调用发送短信，而是可以先“记下来”我们等下需要发送短信，然后快速的给出响应。 串行的登录+发送短信逻辑 ......
kafka-consumer.go
package consumer import ( "fmt" "sync" "github.com/Shopify/sarama" ) type CRead func() string func Run() { var wg sync.WaitGroup consumer, err := sara ......
kafka-producer.go
package producer import ( "fmt" "github.com/Shopify/sarama" ) type CRead func() string func Run(cRead CRead) { config := sarama.NewConfig() config.Pro ......
kafka-main.go
package main import ( "bufio" "kafka/consumer" "kafka/producer" "os" "strings" ) var inputReader *bufio.Reader func init() { inputReader = bufio.NewRe ......
rabbitmq 修改端口
在C:\Users\Administrator\AppData\Roaming\RabbitMQ 新建rabbitmq.config 修改为：45672 [ { rabbit, [ { tcp_listeners, [ {"0.0.0.0" ,45672}] }] },{ rabbitmq_mana ......
（二）kubernetes部署kafka
与前面的zookeeper一样需要持久化存储，因此还是先创建PV，然后再部署kafka。 ##### 2、配置nfs **创建需要作为nfs共享的目录** `mkdir /home/nfs/kafka-0` **添加权限** `chmod 777 /home/nfs/kafka-0` **编辑配置* ......
rocketMQ日常维护
1.查看topicsh mqadmin topicList -n 192.168.1.104:9876 2.删除topicsh mqadmin deleteTopic -c HOSTNAME -n 192.168.1.104:9876 -t mytest 3.创建topicsh mqadmin up ......
springboot整合kafka
一、引入依赖 （kafka的版本和springboot的版本对不上的话，启动会报错，包类不存在） <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <vers ......
rabbitmq php 代码示例
交换机类型 direct : 直连交换机, 根据路由键投递到与绑定键匹配的队列。fanout : 扇形交换机，采用广播模式，投递到所有与之绑定的队列。topic : 主题交换机，对路由键与绑定键进行模式匹配后再投递到相应的队列。headers : 头交换机，不处理路由键, 而是根据发送的消息内容中的 ......