rabbitmq kafka
kafka（java客户端）生产者消费者不能连接虚拟机kafka
报错如下： ...:localhost:9092... java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native ......
RabbitMQ下载与安装
1. 首先进入rabbitmq官网找，查看rabbitmq对应的erlang之间对应的版本信息 网址：RabbitMQ Erlang Version Requirements — RabbitMQ 网站看不懂的话可以使用windows系统最新的edge浏览器,有翻译功能. 2. 在github网站下 ......
flink中配置kafka
Flink 提供了 Apache Kafka 连接器，用于从 Kafka topic 中读取或者向其中写入数据，可提供精确一次的处理语义。 一：简单使用 1.pom <!--Flink Connector KAFKA--> <dependency> <groupId>org.apache.flink ......
Docker安装RabbitMQ
安装步骤： 一般情况，需要先安装部署Erlang环境再安装RabbitMQ环境。不过docker中，Erlang环境已经被docker自动安装，我们只需要简单几步操作即可完成RabbitMQ环境地安装+Web页面管理。 端口开放如果在云服务上部署需在安全组开通一下端口：15672、5672、2567 ......
kafka学习笔记
一、初识kafka kafka的数据单元被称为消息，为了提高效率，消息会被分批次写入kafka，批次就是一组消息，这些消息属于同一个主题和分区。批次数据会被压缩，这样可以提升数据的传输和存储能力，但要做更多的计算处理。 kafka的消息通过主题进行分类，主题可以被分为若干个分区，消息以追加的方式写入 ......
Redis和kafka比较,两者的区别和各自的优势。
1. Redis，它首先是一个内存数据库，其提供的PUB/SUB功能把消息保存在内存中(基于channel)，因此如果你的消息的持久性需求并不高且后端应用的消费能力超强的话，使用Redis PUB/SUB是比较合适的使用场景。比如官网说提供的一个网络聊天室的例子：模拟IRC，因为channel就是I ......
kafka幂等性与重复消费
1、Kafka生产者幂等性 1）Kafka 消息交付可靠性保障： Kafka 默认是：至少一次 最多一次 (at most once) : 消息可能会丢失，但绝不会被重复发送 至少一次 (at least once) : 消息不会丢失，但有可能被重复发送 精确一次 (exactly once) : ......
【kafka】-生产环境问题-报错Maximum application poll interval
一.产生的问题 在.NET环境下使用kafka，消费者长时间消费，会报“ Application maximum poll interval (10000ms) ”错误。 二.重现问题 2.1.消费者配置 SessionTimeoutMs（会话超时时间）和MaxPollIntervalMs（上一次拉 ......
k8s 中使用helm 安装zookeeper，kafka集群<三>
helm repo add bitnami https://charts.bitnami.com/bitnami helm repo update helm install kafka bitnami/kafka \ --set statefulset.replicaCount=1 \ --set ......
Rabbitmq 集群常用命令集
1、常用命令如下： 查看RabbitMQ服务状态：rabbitmqctl status 启用web插件：rabbitmq-plugins enable rabbitmq_management 添加页面用户及密码：rabbitmqctl add_user admin 123456 赋予其adminis ......
Linux 部署： canal (同步mariadb数据发往kafka)
参考文档：https://blog.csdn.net/weixin_55549435/article/details/123309631 1 节点规划 | 节点 | ip | deploy | | | | | | vm1 | 192.168.122.61 | zk + kafka + DB | | ......
kafka的基本概念
1 Broker Kafka集群包含一个或多个服务器，服务器节点称为broker。 如图，我们有2个broker，6个partition，则会均分；如果只有1个partition，那么另一个broker会闲置。 理想情况，我们希望broker数量等于partition数量，然后每个partition ......
RabbitMQ学习
课程地址：【【编程不良人】MQ消息中间件之RabbitMQ以及整合SpringBoot2.x实战教程,已完结!】 https://www.bilibili.com/video/BV1dE411K7MG/?share_source=copy_web&vd_source=045f1e1c5f0609a5 ......
rabbitMq消息没收到排查
rabbitMq消息没收到排查 首先看是否本地机器开了服务，或者测试环境里面其他的个人电脑本地服务启动注册了，都监听了同一个队列，导致队列消息被接走了。现象是在测试环境期望的执行没有运行。或者关注服务注册界面: http://localhost:1246/ 是否同一个服务有其他的IP注册上来了。 ......
centos7安装rabbitmq(指定版本)
安装依赖 yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget 选定 rabbitmq 和 erlong 的对应版本 https://www.rabbitmq.com/which-erlang. ......
centos7安装rabbitmq(支持yum安装的最新版本)
更新依赖 yum install epel-release -y 安装rabbitmq-server yum install rabbitmq-server -y 启用控制台插件 rabbitmq-plugins enable rabbitmq_management 添加用户和权限 rabbitmq ......
RabbitMQ 06 工作队列模式
工作队列模式 工作队列模式结构图： 这种模式非常适合多个工人等待任务到来的场景。任务有多个，一个一个丢进消息队列，工人也有很多个，就可以将这些任务分配个各个工人，让他们各自负责一些任务，并且做的快的工人还可以多完成一些（能者多劳）。 要实现这种模式，只需要创建多个监听器即可。 先监听再发消息 这里先 ......
关于 kafka 的一些经验
1. kafka 高吞吐原因 PageCache + 顺序写磁盘 (读与写) producer 请求：Server端的I/O线程统一将请求写到操作系统的 PageCache 后立即返回，当消息达到一定阈值后, Kafka 应用本身会操作系统内核会触发强制刷盘 comsumer 请求: 主要利用了 z ......
Python-连接RabbitMq
下载依赖包：pip3 install pika 封装公共方法 import pika import json class RaMqStart(object): def __init__(self,url,user,pwd,vhost,queue,key,exchange): # 初始化数据 ''' ......
kafka-exporter
Kafka Exporter packaged by Bitnami What is Kafka Exporter? Kafka exporter for Prometheus. Overview of Kafka Exporter Trademarks: This software listing ......
RabbitMQ 操作命令记录
# RabbitMQ 操作命令记录rabbitmqctl add_user <用户名> <密码> # 添加用户，去掉尖括号填写对应内容 rabbitmqctl set_permissions -p / <用户名> ".*" ".*" ".*" # 添加权限 rabbitmqctl set_user_ ......
kafka
Apache Kafka packaged by Bitnami What is Apache Kafka? Apache Kafka is a distributed streaming platform designed to build real-time pipelines and can ......
kafka---->kafka生产者(一)
我们将会介绍 Kafka 的消费者客户端，以及如何从 Kafka 读取消息。 kafka生产者概述 ⼀个应⽤程序在很多情况下需要往 Kafka 写⼊消息：记录⽤户的活动（⽤于审计和分析）、记录度量 指标、保存⽇志消息、记录智能家电的信息、与其他应⽤程序进⾏异步通信、缓冲即将写⼊到数据库 的数据等等。 ......
Kafka随笔
快速认识Kafka Kafka是最初由Linkedin公司开发，用作 Linkedin 的活动流（Activity Stream）和运营数据处理管道的基础。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，官方的定义Kafka是一个高吞吐量的分布式流处理平台。Kafka由Sc ......
RabbitMq安装教程（超详细）
RabbitMq安装教程RabbitMq简介安装准备工具安装步骤（图文）RabbitMq简介1.1消息队列中间件简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题实现高性能，高可用，可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ（安全），Rab ......
.NetCore 使用 RabbitMQ (交换机/队列/消息持久化+mq高级特性+死信队列+延迟队列)
一、安装mq 2、创建公共项目Commons用于提供者和消费者引用，nuget安装 RabbitMQ.Client，添加一个帮助类: public class RabbitMQHelper { //连接mq public static IConnection GetMQConnection() { ......
kafka rebalance你真的了解吗
介绍 今天主要分享一下 kafka 的 rebalance，在 kafka 中，rebalance 是一个十分重要的概念，很多时候引发的一些问题可能都是由于 rebalance 引起的，rebalance 也就是再均衡，顾名思义，再均衡就是再次负载均衡，下面会对再均衡进行一个详细的描述。 负载均衡 ......
Go接入kafka
需要借助的库 github.com/Shopify/sarama // kafka主要的库* github.com/bsm/sarama-cluster // kafka消费组 生产者 package producer import ( "fmt" "github.com/HappyTeemo756 ......
RabbitMQ 可靠投递
RabbitMQ 可靠投递 标签： RabbitMQ shovel-plugin ConfirmCallback RabbitMQ消息投递 背景 confirmCallback 确认模式 returnCallback 未投递到 queue 退回模式 shovel-plugin 跨机房可靠投递 背景 ......