rabbitmq kafka
Java Kafka简单地将Map对象序列化为json
最近用到kafka，想简单地把Map对象序列化为json发送到主题， 直接用string序列化，生成的结果不是json，虽然格式很像， key都没有引号，可能是直接调用的toString方法。 但是网上搜了一圈，都是spring组合或者其他不太简单的方案。 在哔站看了一段视频受到启发，就实现了一个自 ......
Kafka的系统架构和API开发
# 系统架构 **主题topic和分区partition** - topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic - partition分区（提升kafka吞吐量） topic中数据的具体 ......
.Net全网最简RabbitMQ操作【强烈推荐】
【前言】 本文自1年前的1.0版本推出以来，已被业界大量科技公司采用。同时也得到了.Net圈内多位大佬的关注+推荐，文章也被多家顶级.Net/C#公众号转载。 现在更新到了7.0版本，更好的服务各位.Neter。 【正文】 支持.Net/.Net Core/.Net Framework，可以部署在D ......
Kafka 面试题
## 1. 为什么要使用 Kafka，为什么要使用消息队列 1. 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，Kafka 在中间可以起到一个缓冲的作用，把消息暂存在 Kafka 中，下游服务就可以按照自己的节奏进行慢慢处理。 2. 解耦和扩展性：项目开始的时 ......
流式处理平台Kafka为什么能这么快
天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的快指的是kafka在单位时间搬运的数据量大小，也就是吞吐量。下图是不同消息队列的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 那究竟是什么原因让kafka如 ......
kafka的安装和基本操作
# 基本概念 ## 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总 ......
prometheus监控rabbitmq
【1】介绍 RabbitMQ 指标的 Prometheus 导出器。数据由prometheus 抓取。 请注意这是一个非官方插件。还有一个来自RabbitMQ.com的官方插件。 （1.1）RabbitMq 启动prometheus监控插件 参考官网文档： https://www.rabbitmq. ......
kafka实现高可用性
什么是高可用 「高可用性」，指系统无间断地执行其功能的能力，代表系统的可用性程度 Kafka从0.8版本开始提供了高可用机制，可保障一个或多个Broker宕机后，其他Broker能继续提供服务 备份机制 Kafka允许同一个Partition存在多个消息副本，每个Partition的副本通常由1个L ......
RDS 、HDFS、 mapreduce 、spark 、hive、 hbase 、zookeeper 、kafka 、flume、mysql 安装时之间配置文件是如何依赖的？
这些技术是大数据领域的常用组件，它们之间的配置文件依赖关系如下： RDS是一种关系型数据库，可以独立安装和使用，不需要依赖其他组件。 HDFS是Hadoop分布式文件系统，通常与MapReduce一起使用。在Hadoop集群中，HDFS需要配置core-site.xml和hdfs-site.xml两 ......
Kafka 单机部署搭建及其基本使用
最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！ 当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web 一 ......
Linux 安装Kafka及远程访问
下载 wget 官网 tar -zxvf kafka_2.13-2.5.0.tgz 启动kafka和zookeeper 编写一个sh文件启动 /opt/kafka_2.13-3.0.0/bin/zookeeper-server-start.sh /opt/kafka_2.13-3.0.0/confi ......
RabbitMQ消息堆积
1.堆积原因 主要的问题有两个，第一个原因在于消费者消费消息的速度低于生产者的生产速度，其次消费者存在问题无法对消息进行消费 2.解决的思路 根据堆积的原因我们可以我们有两种思路，其中第一种就是去限制生产者的消息生产速度，另一种就是去提高消费者的消费能力。 2.1 限制生产者的生产速度 这种处理方法 ......
kafka
1.消息的模式主要两种，第一种点对点，消费完就删掉。第二种主流的，发布订阅，一对多，消费之后不会删掉。 2.卡夫卡的主要结构：生产者--broker--消费者，broker里有很多partation，实际上一个broker就是一台服务器，partation类似于es的分片，也有主分区从分区之分，只不 ......
RabbitMQ自学笔记
#RabbitMQ笔记总结 ## 常见概念 **Broker**：消息服务器，类似于Mysql服务器。 **Channel**：连接中的一个虚拟通道，消息队列发送或者接收消息时，都是通过信道进行的。 **Virtual host**：类似于Mysql数据中的数据库，库与库之间的是独立的， ......
canal+RabbitMQ实现Redis与Mysql解决双写一致性
# canal+RabbitMQ实现Redis与Mysql的数据最终一致性问题 ## 配置mysql(windows版本)  2.安装 ......
原来kafka也有事务啊，再也不担心消息不一致了
## 前言 现在假定这么一个业务场景，从`kafka`中的`topic`获取消息数据，经过一定加工处理后，发送到另外一个`topic`中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的`Exactly-Once`精确一次消息投递。这该如何实现呢？  Message Queue消息队列是一种应用程序对应用程序的通信方法, 可以是线程(Queue), 也可以是`进程之间`, 而`rabbitmq`是进程之间的消息队列 `生产者消费者模型`: 通过一个容器来解决生产者和消费者之间的强耦 ......
Rabbitmq在linux服务器的安装步骤
Linux系统：CentOS7.x （如果是CentOS8.x的话，需要修改下面两个环境版本号中的el7为el8） Erlang：erlang-22.3.4.12-1.el7.x86_64.rpm RabbitMQ：rabbitmq-server-3.8.13-1.el7.noarch.rpm 1 ......
springboot项目rabbitmq消费者消费json格式的String，出现无限循环抛出No method found for class [B
转： springboot项目rabbitmq消费者消费json格式的String，出现无限循环抛出No method found for class [B ......
kafka动态生产者
package com.sunclouder.das.data.kafka.forward;import cn.hutool.core.util.StrUtil;import cn.hutool.json.JSONObject;import cn.hutool.json.JSONUtil;impor ......
1.RabbitMQ简介与入门
# 1.简介与入门 ## 1.1.MQ介绍 ### 1.1.1.概念 MQ(message queue)，本质是个队列，FIFO 先入先出，只不过队列中存放的内容是 message 而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦” ......