rabbitmq kafka
Linux上快速安装 RabbitMQ
1.默认安装最新版，安装erlang apt-get install erlang 2.安装最新版 rabbitmq sudo apt-get update sudo apt-get install rabbitmq-server 3.配置管理端Web系统 rabbitmq-plugins enab ......
Kafka消费者群组和负载均衡
前言 在大数据时代，消息处理成为众多企业关注的焦点。而Kafka作为一种高性能、分布式的消息系统，通过其消费者群组和负载均衡的特性，实现了高效的消息处理和可靠的数据传递。 消费者群组 Kafka的消费者群组是一种灵活而强大的机制，允许多个消费者协同工作以实现高吞吐量的消息处理。消费者群组通过订阅同一 ......
Kafka的监控和故障恢复
前言 说完Kafka在企业级应用中的使用之后，接下来避免不了的话题就是故障监控和恢复了，今天咱们也来聊聊这个话题 监控Kafka集群 Kafka集群的监控是确保其正常运行和性能优化的关键步骤。下面列出了一些常用的方法和工具来监控Kafka集群： JMX监控： Kafka提供了JMX（Java Man ......
Kafka在企业级应用中的实践
前言 前面说了很多Kafka的性能优点，有些童鞋要说了，这Kafka在企业开发或者企业级应用中要怎么用呢？今天咱们就来简单探究一下。 1、 使用 Kafka 进行消息的异步处理 Kafka 提供了一个可靠的消息传递机制，使得企业能够将不同组件之间的通信解耦，实现高效的异步处理。在企业级应用中，可以通 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
rabbitMQ快速入门
rabbitMQ快速入门 一、消息队列简介 MQ：全称Message Queue，消息队列，是一种进程间通信或同一进程的不同线程间的通信方式，软件的贮列用来处理一系列的输入，通常是来自用户。消息队列提供了异步的通信协议，每个贮列中的记录包含详细说明的数据，包含发生的时间、输入设备的种类等，也就说消息 ......
Kafka不能满足我们的要求，其尤其表现在低延迟和高可靠性方面
为什么选择RocketMQ | RocketMQ https://rocketmq.apache.org/zh/docs/ 为什么 RocketMQ 在阿里孕育 RocketMQ 的雏形时期，我们将其用于异步通信、搜索、社交网络活动流、数据管道，贸易流程中。随着我们的贸易业务吞吐量的上升，源自我们 ......
kafka
kafka 启动 https://kafka.apache.org/quickstart Step 1: Get Kafka Download the latest Kafka release and extract it: $ tar -xzf kafka_2.13-3.5.0.tgz $ cd ......
kafka常用命令
1、启动Kafka ./bin/kafka-server-start.sh ./config/server.properties & 2、停止Kafka ./bin/kafka-server-stop.sh 3、创建Topic # 老版 ./bin/kafka-topics.sh --create ......
Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge(桥接)实战》的第三篇，前文咱们掌握了Strimzi Kafka Bridge的基本功能：基于h ......
yisa_get_msg_from_kafka_per_pn.py
#!/usr/bin/python #-*- coding: utf-8 -*- # 抽取kafka数据到redis_mq模块 # 作者：王成 # 日期：2017-04-14 import MySQLdb import time import sys import redis import requ ......
RabbitMQ 集群搭建和仲裁队列的使用
RabbitMQ 是基于 Erlang 语言开发的，该语言天然支持集群分布式模式，因此部署 RabbitMQ 集群非常简单。 RabbitMQ 的集群部署有两种模式： 普通集群：又称为标准集群，是一种分布式集群，将队列分散到集群的各个节点，提高整个集群的并发能力。 镜像集群：在普通集群的基础上，添加 ......
Kafka 搭建过程
目录1.关于Kafka2.Kafka 搭建过程3.参考 本文主要介绍Kafka基本原理，以及搭建过程。 1.关于Kafka Apache Kafka是一个开源的分布式事件流平台，被设计用来实现实时数据流的发布、订阅、存储和处理。 Kafka的主要特性包括： 高吞吐量：Kafka可以处理高速流动的数据 ......
Kafka介绍
Kafka是一个分布式流处理平台，最初由LinkedIn开发并开源。它的设计目标是为了解决大规模数据处理的问题，具有高性能、可扩展性和可靠性的特点。 以下是Kafka的一些关键特点和概念： 消息发布和订阅：Kafka使用发布-订阅模式，消息由一个或多个生产者发布到一个或多个主题（topics），然后 ......
RabbitMQ 死信交换机、延迟队列、惰性队列
如果一个队列设置了死信交换机，该队列的消息就有了极大的可靠性保障，当出现以下情况时，消息就会投递到死信交换机中： 队列中的消息在被消费者处理后，抛出异常，返回了 nack 或者 reject 如果队列设置了 ttl 或者消息本身设置了 ttl ，消息因为超时而未消费 队列容量已经满了，后续发来的消息 ......
RabbitMQ 消息发送和消费的可靠性保障
在一些比较重要的场景中，我们必须要保障 RabbitMQ 消息的可靠性，也就是发送给 rabbitmq 的消息必须最终成功，消费者接收消息进行处理也必须最终成功。即使是中间失败了，也必须要有其它保障措施，哪怕最后进行人工进行干预处理。 消息出现丢失的场景主要有： 发送消息时丢失：比如消息发送到交换机 ......
Kafka简单入门
使用docker安装 docker pull bitnami/kafka docker run -d -p 9092:9092 --name kafka-server \ -e ALLOW_PLAINTEXT_LISTENER=yes \ -e KAFKA_CFG_ZOOKEEPER_CONNECT ......
安装Rabbitmq
1、查看系统版本 uname -a，centos7需要下载el7版本的安装包 2、下载对应版本的erlang、socat、rabbitmq的rpm安装包，下载地址如下： 1）https://github.com/rabbitmq/erlang-rpm/releases 2）http://www.rp ......
rabbitmq快速入门
镜像启动命令 docker run \ -e RABBITMQ_DEFAULT_USER=root \ -e RABBITMQ_DEFAULT_PASS=123456 \ --name mq \ --hostname mq1 \ -p 15672:15672 \ -p 5672:5672 \ -d ......
.NET Core 使用RabbitMQ
RabbitMQ简介 AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。 AMQP的主要特征是面向消息、队列、路由（包 ......
docker-compose部署rabbitmq
docker-compose部署rabbitmq docker-compose部署rabbitmq单机 创建一个rabbitmq.yml的文件 version: '3' services: rabbit: image: rabbitmq:3.8-management hostname: rabbit ......
Strimzi Kafka Bridge(桥接)实战之二：生产和发送消息
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览 本文是《Strimzi Kafka Bridge(桥接)实战之》系列的第二篇，咱们直奔bridge的重点：常用接口，用实际操作体验如何用brid ......
Kafka学习01：默认分区策略解析
Kafka学习01：默认分区策略解析 Kafka版本：2.5.1 DefaultPartitioner 类 /** * The default partitioning strategy: * <ul> * <li>If a partition is specified in the record, ......
一文教你理解Kafka offset
日常开发中，相信大家都对 Kafka 有所耳闻，Kafka 作为一个分布式的流处理平台，一般用来存储和传输大量的消息数据。在 Kafka 中有三个重要概念，分别是 topic、partition 和 offset。 topic 是 kafka 中的消息以主题为单位进行归类的逻辑概念，生产者负责将消息 ......
Kafka - 消费者会创建多少个 Socket 连接？
相关知识的wiki https://www.processon.com/mindmap/5ef999275653bb2925bc8a13 问题 假设有个 Kafka 集群由 2 台 Broker 组成，有个主题有 5 个分区，当一个消费该主题的消费者程序启动时，你认为该程序会创建多少个 Socket ......
Strimzi Kafka Bridge(桥接)实战之一：简介和部署
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 关于《Strimzi Kafka Bridge(桥接)实战》 在strimzi技术体系中，桥接(bridge)是很要的功能，内容也很丰富，因此将桥接相关的 ......
Kafka 集群副本数量调整
Kafka 创建时未指定多个副本或者副本数量过少，都可以在后期手动添加，另外如果副本过多也可以减少，当前调整基于 Kafka 的版本是 2.5.1，但是估计 2.1 ~ 2.5 应该都是兼容的。 下面先来操作一下 Topic 副本减少的过程，首先查看 Kafka Topic 的详情： # 新版本的 ......
rabbitmq持久化
一:消息持久化 RabbitMQ并不是用来存储数据的，而是用来传输消息的中间件。因此，如果需要存储数据，应该使用数据库或者其他合适的工具，而不是RabbitMQ。 如果需要使用RabbitMQ来传输消息，并且希望消息能够被持久化存储，可以采取以下措施： 1. 使用持久化队列：在声明队列的时候设置du ......