rabbitmq rocketmq kafka
手动部署Kraft模式Kafka集群
手动部署Kraft模式kafka集群 基本信息 IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka ......
Kafka3.6.0 linux 安装，非zookeeper模式
参考： 安装Kafka3.3.1及kraft运行，告别zookeeper_kafka 3.3.1 jdk 无需zookeeper，kafka3.0版本集群安装实战 操作系统：ubutun18.04LTS 1.下载 到kafka官网下载 2.上传到服务器指定位置 3.解压到指定目录，这里我放到/opt ......
性能测试复习准备——linux环境下安装kafka_2.13-3.2.3.tgz
参考：https://www.bilibili.com/video/BV1Xy4y1G7zA?p=6&vd_source=79bbd5b76bfd74c2ef1501653cee29d6 解压到目录路径下： 启动kafka之前，首先启动zk： 修改配置文件： 启动kafka和查看： ......
kafka入门(二)： 位移提交
位移提交： Kafka的每条消息都有唯一的 offset， 用来表示消息在分区中对应的位置。有的也称之为 "偏移量"。 消费者每次在 poll() 拉取消息，它要返回的是还没有消费过的消息集， 因此，需要记录上一次消费时的消费位移，并且持久化。 消费者在消费完消息之后，需要执行消费位移的提交。 自动 ......
Introducing the kafka producer
Introduction As we saw in the previous sections, I think we have some basic information about the kafka producers, today, let me dig in this concept. ......
Kafka分布式消息队列
一、Kafka的的介绍 （一）、概述 1、Kafka是由LinkedIn开发的一个分布式的消息系统，底层使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 2、Kafka是一个分布 ......
万字长文：从 C# 入门学会 RabbitMQ 消息队列编程
RabbitMQ 教程 目录 RabbitMQ 教程 RabbitMQ 简介 安装与配置 安装 RabbitMQ 发布与订阅模型 生产者、消费者、交换器、队列 多工作队列 交换器类型 Direct Fanout Topic 交换器绑定交换器 消费者、消息属性 Qos 、拒绝接收 消息确认模式 消息持 ......
全网最全图解Kafka适用场景
消息系统 消息系统被用于各种场景，如解耦数据生产者，缓存未处理的消息。Kafka 可作为传统的消息系统的替代者，与传统消息系统相比，kafka有更好的吞吐量、更好的可用性，这有利于处理大规模的消息。 根据经验，通常消息传递对吞吐量要求较低，但可能要求较低的端到端延迟，并经常依赖kafka可靠的dur ......
安装Rabbitmq
1、使用docker拉取镜像。 docker search rabbitmq 2、安装镜像。 docker pull rabbitmq 3、运行mq。 docker run -d --name rabbitmq -p 15672:15672 -p 5673:5672 rabbitmq 4、通过doc ......
Kafka-合理设置broker、partition、consumer数量
1．broker的数量最好大于等于partition数量 一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。 一个broker如果对应多个partition，需要随机分发，顺序IO会退化成随机IO。 实验条件：3个 Broker，1个 Topic，无Replication，异步 ......
Windows下RabbitMQ 集群及应用测试
转自：https://blog.csdn.net/elie_yang/article/details/86657851 1：安装erlang环境； 2：安装RabbitMQ, 以上2步都是下载安装，下一步结束；参考官网：http://www.rabbitmq.com/install-windows. ......
Kafka 配置部署及SASL_PLAINTEXT安全认证
1、下载安装 Kafka下载地址：Apache Kafka # 下载文件 wget https://downloads.apache.org/kafka/3.5.1/kafka_2.12-3.5.1.tgz # 文件解压缩 tar -zxvf kafka_2.12-3.5.1.tgz # 修改目录名 ......
docker+docker-compose部署rocketmq集群遇到的大坑
搭建时间为2023-11-22 环境：CentOS7、Docker24.0.6、Docker-Compose2.23.0、RocketMQ镜像为apache/rocketmq:5.1.2 部署说明：两台Linux服务器，先是尝试了传统2主2从，没有实现主备自动切换，一步一步部署下来没有特别大的问题。 ......
centos7下载安装rabbitmq
下载rabbitmq su root mkdir /data/rabbitmq cd /data/rabbitmq wget https://github.com/rabbitmq/rabbitmq-server/releases/download/rabbitmq_v3_6_16/rabbitmq ......
Knative Event kafka source
环境说明 kafka 集群： strimzi-operator部署的kafka集群 zookeeper 节点：3个 kafka 节点： 1个 channel: Apache Kafka Channel Broker: Apache Kafka Broker namespace：event-kafka ......
RabbitMQ
安装 # 拉取镜像 docker pull rabbitmq:management # 创建容器 docker run -e RABBIT_DEFAULT_USER=root -e RABBIT_DEFAULT_PASS=root --name rabbitmq_mg -p 15672:15672 ......
centos7安装Kafka
参考：https://blog.csdn.net/yang1393214887/article/details/123425715 1. 官网下载https://kafka.apache.org/downloads https://dlcdn.apache.org/kafka/3.1.0/kafka ......
strimzi operator 部署kafka集群
环境说明 本环境使用了单节点、临时存储集群的kafka-ephemeral-single配置。线上环境推荐kafka-persistent.yaml配置并修改storage配置为自动创建pv/pvc类型。 配置清单说明 1. kafka-ephemeral-single.yaml：非持久化存储，单节 ......
RabbitMQ安装
RabbitMQ单机安装 安装erlang环境 安装基本依赖模块 [root@localhost ~]# yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel 安装erlang环境 [root@loca ......
kafka
kafka 下载路径: (https://kafka.apache.org/downloads) 一、kafka单机安装 1.1 上传jdk环境 jdk-8u202-linux-x64.tar.gz kafka_2.12-3.5.1.tgz 1.2 解压安装包 tar xf jdk-8u202-li ......
rocketmq部署
rocketmq部署 一、安装jdk 1. 上传jdkjdk-8u361-linux-x64.tar.gz 2.解压 tar xf jdk-8u361-linux-x64.tar.gz -C /data 3.配置环境变量 vim /etc/profile export JAVA_HOME=/data ......
rabbitmq小记
发topic代码，创建交换器，数据直接按routingKey发送到交换器中： using (var connection = factory.CreateConnection()) { using (var channel = connection.CreateModel()) { // 创建交换器 ......
kafka 磁盘扩容与数据均衡实在操作讲解
目录一、概述1）Kafka 磁盘扩容概述2）Kafka 数据均衡概述二、K8s 集群部署三、kafka on k8s 环境部署1）安装 helm2）安装 zookeeper1、添加源并下载部署包2、修改配置3、开始安装 zookeeper4、测试验证5、卸载3）安装 kafka1、添加源并下载部署包 ......
kafka入门(一)：kafka消息消费
安装kafka，创建 topic： Windows安装kafka, 详情见：https://blog.csdn.net/sinat_32502451/article/details/133067851 Linux 安装kafka，详情见：https://blog.csdn.net/sinat_325 ......
kafka安装教程
检查java8 没有就安装 java -version 安装jdk1.8 yum -y install java-1.8.0-openjdk 下载kafka （网速很慢） wget https://dlcdn.apache.org/kafka/3.5.0/kafka_2.13-3.5.0.tgz 解 ......
Introduing some cores concepts within kafka
Introduction Today, we talk about some cores concepts within kafka. Apache kafka is a distributed publish-subscribe messaging system. It is originally ......
万字长文：从 C# 入门学会 RabbitMQ 消息队列编程
RabbitMQ 教程 目录RabbitMQ 教程RabbitMQ 简介安装与配置安装 RabbitMQ发布与订阅模型生产者、消费者、交换器、队列多工作队列交换器类型DirectFanoutTopic交换器绑定交换器消费者、消息属性Qos 、拒绝接收消息确认模式消息持久化消息 TTL 时间队列 TT ......
Zookeeper 在 Kafka 中的作用
Zookeeper 在 Kafka 中的作用 1、Broker注册 Broker是分布式部署并且相互之间相互独立，但是需要有一个注册系统能够将整个集群中的Broker管理起来，此时就使用到了Zookeeper。在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点： /broke ......
Kafka 集群如何实现数据同步？
哈喽大家好，我是咸鱼 最近这段时间比较忙，将近一周没更新文章，再不更新我那为数不多的粉丝量就要库库往下掉了 T﹏T 刚好最近在学 Kafka，于是决定写篇跟 Kafka 相关的文章（文中有不对的地方欢迎大家指出） 考虑到有些小伙伴可能是第一次接触 Kafka ，所以先简单介绍一下什么是 Kafka ......