rabbitmq rocketmq kafka
【RocketMQ】RocketMQ存储结构设计
CommitLog 生产者向Broker发送的消息，会以顺序写的方式，写入CommitLog文件，CommitLog文件的根目录由配置参数storePathRootDir决定，默认每一个CommitLog的文件大小为1G，如果文件写满会新建一个CommitLog文件，以该文件中第一条消息的偏移量为文 ......
使用 Databend Kafka Connect 构建实时数据同步
作者：韩山杰 Databend Cloud 研发工程师 https://github.com/hantmac Kafka Connect 介绍 Kafka Connect 是一个用于在 Apache Kafka® 和其他数据系统之间可扩展且可靠地流式传输数据的工具。通过将数据移入和移出 Kafka ......
SpringBoot+RabbitMQ+Redis 开发一个秒杀系统，细节打满（附源码）
一、简易版秒杀SeckillProject系统简介 开发技术 二、实现细节记录 1、用户密码两次MD5加密 2、分布式session维持会话 3、异常统一处理 4、页面缓存 + 对象缓存 5、页面静态化 6、内存标记 + Redis预减库存 + RabbitMQ异步处理 7、解决超卖 8、接口限流 ......
Linux上快速安装 RabbitMQ
1.默认安装最新版，安装erlang apt-get install erlang 2.安装最新版 rabbitmq sudo apt-get update sudo apt-get install rabbitmq-server 3.配置管理端Web系统 rabbitmq-plugins enab ......
Kafka消费者群组和负载均衡
前言 在大数据时代，消息处理成为众多企业关注的焦点。而Kafka作为一种高性能、分布式的消息系统，通过其消费者群组和负载均衡的特性，实现了高效的消息处理和可靠的数据传递。 消费者群组 Kafka的消费者群组是一种灵活而强大的机制，允许多个消费者协同工作以实现高吞吐量的消息处理。消费者群组通过订阅同一 ......
Kafka的监控和故障恢复
前言 说完Kafka在企业级应用中的使用之后，接下来避免不了的话题就是故障监控和恢复了，今天咱们也来聊聊这个话题 监控Kafka集群 Kafka集群的监控是确保其正常运行和性能优化的关键步骤。下面列出了一些常用的方法和工具来监控Kafka集群： JMX监控： Kafka提供了JMX（Java Man ......
Kafka在企业级应用中的实践
前言 前面说了很多Kafka的性能优点，有些童鞋要说了，这Kafka在企业开发或者企业级应用中要怎么用呢？今天咱们就来简单探究一下。 1、 使用 Kafka 进行消息的异步处理 Kafka 提供了一个可靠的消息传递机制，使得企业能够将不同组件之间的通信解耦，实现高效的异步处理。在企业级应用中，可以通 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
rabbitMQ快速入门
rabbitMQ快速入门 一、消息队列简介 MQ：全称Message Queue，消息队列，是一种进程间通信或同一进程的不同线程间的通信方式，软件的贮列用来处理一系列的输入，通常是来自用户。消息队列提供了异步的通信协议，每个贮列中的记录包含详细说明的数据，包含发生的时间、输入设备的种类等，也就说消息 ......
RocketMQ 中订阅关系 按照业务分类合理拆分主题
小结： 1、 流式操作语义 Apache RocketMQ 基于队列的存储模型可确保消息从任意位点读取任意数量的消息，以此实现类似聚合读取、回溯读取等特性，这些特性是RabbitMQ、ActiveMQ等非队列存储模型不具备的。 2、 Apache RocketMQ 队列模型和Kafka的分区（Par ......
Kafka不能满足我们的要求，其尤其表现在低延迟和高可靠性方面
为什么选择RocketMQ | RocketMQ https://rocketmq.apache.org/zh/docs/ 为什么 RocketMQ 在阿里孕育 RocketMQ 的雏形时期，我们将其用于异步通信、搜索、社交网络活动流、数据管道，贸易流程中。随着我们的贸易业务吞吐量的上升，源自我们 ......
kafka
kafka 启动 https://kafka.apache.org/quickstart Step 1: Get Kafka Download the latest Kafka release and extract it: $ tar -xzf kafka_2.13-3.5.0.tgz $ cd ......
kafka常用命令
1、启动Kafka ./bin/kafka-server-start.sh ./config/server.properties & 2、停止Kafka ./bin/kafka-server-stop.sh 3、创建Topic # 老版 ./bin/kafka-topics.sh --create ......
Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge(桥接)实战》的第三篇，前文咱们掌握了Strimzi Kafka Bridge的基本功能：基于h ......
【RocketMQ】Dledger模式下的日志复制
RocketMQ在开启Dledger时，使用DLedgerCommitLog，其他情况使用的是CommitLog来管理消息的存储。在Dledger模式下，消息写入时Leader节点还需要将消息转发给Follower节点，有过半的节点响应成功，消息才算写入成功。 Leader消息写入 Dledger下 ......
yisa_get_msg_from_kafka_per_pn.py
#!/usr/bin/python #-*- coding: utf-8 -*- # 抽取kafka数据到redis_mq模块 # 作者：王成 # 日期：2017-04-14 import MySQLdb import time import sys import redis import requ ......
RabbitMQ 集群搭建和仲裁队列的使用
RabbitMQ 是基于 Erlang 语言开发的，该语言天然支持集群分布式模式，因此部署 RabbitMQ 集群非常简单。 RabbitMQ 的集群部署有两种模式： 普通集群：又称为标准集群，是一种分布式集群，将队列分散到集群的各个节点，提高整个集群的并发能力。 镜像集群：在普通集群的基础上，添加 ......
Kafka 搭建过程
目录1.关于Kafka2.Kafka 搭建过程3.参考 本文主要介绍Kafka基本原理，以及搭建过程。 1.关于Kafka Apache Kafka是一个开源的分布式事件流平台，被设计用来实现实时数据流的发布、订阅、存储和处理。 Kafka的主要特性包括： 高吞吐量：Kafka可以处理高速流动的数据 ......
Kafka介绍
Kafka是一个分布式流处理平台，最初由LinkedIn开发并开源。它的设计目标是为了解决大规模数据处理的问题，具有高性能、可扩展性和可靠性的特点。 以下是Kafka的一些关键特点和概念： 消息发布和订阅：Kafka使用发布-订阅模式，消息由一个或多个生产者发布到一个或多个主题（topics），然后 ......
RabbitMQ 死信交换机、延迟队列、惰性队列
如果一个队列设置了死信交换机，该队列的消息就有了极大的可靠性保障，当出现以下情况时，消息就会投递到死信交换机中： 队列中的消息在被消费者处理后，抛出异常，返回了 nack 或者 reject 如果队列设置了 ttl 或者消息本身设置了 ttl ，消息因为超时而未消费 队列容量已经满了，后续发来的消息 ......
RabbitMQ 消息发送和消费的可靠性保障
在一些比较重要的场景中，我们必须要保障 RabbitMQ 消息的可靠性，也就是发送给 rabbitmq 的消息必须最终成功，消费者接收消息进行处理也必须最终成功。即使是中间失败了，也必须要有其它保障措施，哪怕最后进行人工进行干预处理。 消息出现丢失的场景主要有： 发送消息时丢失：比如消息发送到交换机 ......
RocketMQ简单入门
服务端安装及配置 docker安装 docker pull rocketmqinc/rocketmq:4.4.0 指定版本号是为了后面确定配置文件的路径 启动namesrv docker run -d -p 9876:9876 --name rocketmq-nameservice -e MAX_P ......