rabbitmq kafka
从一次Kafka宕机说起（JVM hang）
一、背景 时间大概是在夏天7月份，突然收到小伙伴的情报，我们线上的一个kafka实例的某个broker突然不提供服务了，也没看到什么异常日志，反正就是生产、消费都停了。因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧 因为这个现象是第一次出现，不确定是 ......
springboot连接rabbitmq网络异常时，不能自动重连的问题
在rabbitmq官网的java api处：https://www.rabbitmq.com/api-guide.html#recovery介绍了java连接rabbitmq异常恢复的问题。其中提及了如下内容 As of version 4.0.0 of the Java client, autom ......
golang + rabbitmq 死信队列
生产者 package main import ( "fmt" "github.com/streadway/amqp" "strconv" "time" ) // 启动生产者，n秒之内，如果consume没有消费，那么就会被die-死信队列消费 func main() { // # 1.创建连接 m ......
Kafka 入门教程
Kafka是分布式发布-订阅消息系统,它最初由 LinkedIn 公司开发，使用 Scala语言编写,之后成为 Apache 项目的一部分。在Kafka集群中，没有“中心主节点”的概念，集群中所有的服务器都是对等的，因此，可以在不做任何配置的更改的情况下实现服务器的的添加与删除，同样的消息的生产者和 ......
Kafka：用于日志处理的分布式消息系统
周末躺不平，摆不烂，卷不动，随便读一篇paper吧 原文：Kafka: a Distributed Messaging System for Log Processing 作者：Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
Springboot中使用RabbitMq
代码地址： https://gitee.com/Aes_yt/middleware-demo/tree/master/rabbitmq 安装RabbitMq 1. docker拉取镜像 docker pull rabbitmq:3.9.29-management 2. 创建rabbitmq容器 do ......
rabbitmq延时消息不准确，不是丢失，而是给延后了
以下内容来源于：https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/issues/72 Delay interval predictability We have noticed a general issue with the ......
RabbitMQ详解
RabbitMQ是一个开源的消息中间件，采用AMQP协议来实现消息的生产、消费和路由。它主要由以下几个组件构成： Producer：消息生产者，即发送消息的应用程序。 Exchange：消息交换机，用于接收生产者发送的消息，并将其路由到对应的队列中。 Queue：消息队列，用于存储消息，等待消费者来 ......
kafka 消费报错
具体报错信息Traceback (most recent call last): File "/root/kafkatomysql.py", line 166, in <module> consumer.commit() File "/usr/local/python3.9/lib/python3. ......
博学谷学习记录 自我总结 用心分享 | Kafka刨析
基本概念 Kafka 体系架构 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群。 在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。 Kafka 中的消息以主题为单位进行归类，生产 ......
博学谷学习记录 自我总结 用心分享 | RabbitMQ刨析
一、什么是消息队列 消息指的是两个应用间传递的数据。数据的类型有很多种形式，可能只包含文本字符串，也可能包含嵌入对象。 “消息队列(Message Queue)”是在消息的传输过程中保存消息的容器。在消息队列中，通常有生产者和消费者两个角色。生产者只负责发送数据到消息队列，谁从消息队列中取出数据处理 ......
大白话教你认识 Kafka，背后原理竟能秒懂 转载
一、Kafka 基础 消息系统的作用 应该大部份小伙伴都清楚，用机油装箱举个例子 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了你做的系统去做用户画 ......
Canal同步订阅mysql的binglog数据并对接rabbitmq
canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议,mysql master收到dump请求，开始推送binary log给slave(也就是canal),canal解析binary log对象(原始为byte流)。本文介绍如 ......
Kafka服务报UnknownHostException解决办法
问题描述 启动需要连接kafka服务的项目，报如下错误 09:57:01.336 [http-nio-8085-exec-3] WARN org.apache.kafka.clients.NetworkClient - [Consumer clientId=consumer-group-1, gro ......
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？
为什么物联网大数据平台，使用TDengine，可以不要Redis、Kafka和Spark等软件？ - TDengine | 涛思数据 (taosdata.com) TDengine是一高效的时序空间大数据处理引擎，因为充分利用物联网、车联网、工业互联网等场景的数据特点并做了很多优化，因此性能上远胜通 ......
RabbitMQ的名词
Broker：接收和分发消息的应用，RabbitMQ Server 就是 Message Broker Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似 于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ se ......
k8s install rabbitmq
1 kubectl apply -f "https://github.com/rabbitmq/cluster-operator/releases/latest/download/cluster-operator.yml" 2 kubectl apply -f https://raw.githubu ......
RabbitMQ消息可靠性保障
消息丢失的情况 publisher 在往rabbitmq发送消息时，可能由于网络问题导致消息丢失 rabbitmq在投递消息时，找不到匹配的队列消息时，可能导致消息丢失，rabbitmq队列存储消息在未push给消费者之前，如果服务器故障可能导致消息丢失 rabbitmq在将消息push给消费者时， ......
.net fromwork连接rabbitmq发布消息
1、创建连接工厂类 var factory = new RabbitMQ.Client.ConnectionFactory() { HostName = "120.237.72.46", UserName = "admin", Password = "admin", Port = 5672, Vir ......
RabbitMQ消息丢失的场景，MQ消息丢失解决方案
第一种：（生产者）生产者弄丢了数据。生产者将数据发送到 RabbitMQ 的时候，可能数据就在半路给搞丢了，因为网络问题啥的，都有可能。 第二种：（服务端）RabbitMQ 弄丢了数据。MQ还没有持久化自己挂了 第三种：（消费者）消费端弄丢了数据。刚消费到，还没处理，结果进程挂了，比如重启了。 1. ......
RabbitMq DLX 实现延迟队列
我们可以把死信队列就当成延迟队列。 具体来说是这样： 假如一条消息需要延迟 30 分钟执行，我们就设置这条消息的有效期为 30 分钟，同时为这条消息配置死信交换机和死信 routing_key，并且不为这个消息队列设置消费者，那么 30 分钟后，这条消息由于没有被消费者消费而进入死信队列，此时我们有 ......
Kafka快速入门
目录Kafka 快速入门Kafka 部署kafka 操作方法 Kafka 快速入门 Kafka 部署 官方下载地址：https://kafka.apache.org/downloads # 1.下载安装包 [root@db03 ~]# cd /opt [root@db03 opt]#wget htt ......
使用 Databend Kafka Connect 构建实时数据同步
作者：韩山杰 Databend Cloud 研发工程师 https://github.com/hantmac Kafka Connect 介绍 Kafka Connect 是一个用于在 Apache Kafka® 和其他数据系统之间可扩展且可靠地流式传输数据的工具。通过将数据移入和移出 Kafka ......
SpringBoot+RabbitMQ+Redis 开发一个秒杀系统，细节打满（附源码）
一、简易版秒杀SeckillProject系统简介 开发技术 二、实现细节记录 1、用户密码两次MD5加密 2、分布式session维持会话 3、异常统一处理 4、页面缓存 + 对象缓存 5、页面静态化 6、内存标记 + Redis预减库存 + RabbitMQ异步处理 7、解决超卖 8、接口限流 ......