rabbitmq rocketmq kafka
黑马rabbitmq
消息中间件面试题-参考回答 面试官：RabbitMQ-如何保证消息不丢失 候选人： 嗯！我们当时MYSQL和Redis的数据双写一致性就是采用RabbitMQ实现同步的，这里面就要求了消息的高可用性，我们要保证消息的不丢失。主要从三个层面考虑 第一个是开启生产者确认机制，确保生产者的消息能到达队列， ......
单机下RocketMq安装-多Master模式
版本：5.1.1 官方下载地址：https://rocketmq.apache.org/zh/download jdk版本：jdk1.8.0_201 在指定目录下新建文件夹rocketmq，并下载安装包到目录下 cd /usr/localmkdir rocketmqwget https://dist ......
首次启动Kafka报Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
首次启动Kafka报错如下： 原因：内存不足，查看启动配置 调小一些： ......
Kafka面试题
# kafka 都有哪些特点？ 高吞吐量，低延迟 可以热扩展 并发度高 具有容错性(挂的只剩1台也能正常跑) 可靠性高 # 在哪些场景下会选择 kafka？ kafka的一些应用 - 日志收集：一个公司可以用kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consum ......
Kafka-数据出现积压的原因以及如何解决积压问题？
Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 ......
Kafka关键原理
# 日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 1. 当前日志分段文件的大小超过了broker端参数 `log.segment.bytes` 配置的值。`log.segment.bytes`参数的默认值为 `1073741824`，即1GB 2. 当前日志分段中消息的最小时间 ......
基于k8s环境部署RabbitMQ集群
一、前言 本次案例是基于Statefulset部署RabbitMQ集群，同时基于Storage Class（存储类）来作为集群数据的持久化后端，因此在此之前已经部署好了NSF作为后端存储 1、创建服务命名空间Namespace #kubectl create ns rabbitmq 2、创建rbac ......
基于 AIGC，RocketMQ 学习社区探索开源软件学习新范式
AIGC 持续火爆全球，越来越多的场景开始接入并体现非凡的价值。其中应用广泛的场景之一就是智能知识问答，它改变了人们学习的方式，从阅读式到问答式，让知识的获取更加精准有效。开源软件拥有着广泛的求知群体，AIGC+ 社区的结合是学习型社区未来演进方向上的一个新颖的尝试，今天我们结合 RocketMQ ... ......
1-kafka介绍及基础架构
1.kafka: 高吞吐量的分布式发布订阅消息系统； 1>同步变异步 2>解耦 3>削峰填谷 2.消息队列的两种工作模式: 保证到kafka中的消息被多个消费者消费，并且被相同消费者重复消费； 3.kafka集群形式 4. hash:消息的均匀分散，相同的key落入同一分区 只有leader负责分区 ......
RabbitMQ
常见的消息队列很多，主要包括 RabbitMQ、Kafka、RocketMQ 和 ActiveMQ，相关的选型可以看我之前的系列，这篇文章只讲 RabbitMQ，先讲原理，后搞实战。 文章很长，如果你能一次性看完，“大哥，请收下我的膝盖”，建议大家先收藏，啥时需要面试，或者工作中遇到了，可以再慢慢看 ......
.Net全网最简RabbitMQ操作
【前言】 本文自1年前的1.0版本推出以来，已被业界大量科技公司采用。同时也得到了.Net圈内多位大佬的关注+推荐，文章也被多家顶级.Net/C#公众号转载。 现在更新到了7.0版本，更好的服务各位.Neter。 【正文】 支持.Net/.Net Core/.Net Framework，可以部署在D ......
手记系列之六 ----- 分享个人使用kafka经验
## 前言 本篇文章主要介绍的关于本人从刚工作到现在使用kafka的经验，内容非常多，包含了kafka的常用命令，在生产环境中遇到的一些场景处理，kafka的一些web工具推荐等等。由于kafka这块的记录以及经验是从我刚开始使用kafka，从2017年开始，可能里面有些内容过时，请见谅。温馨提醒， ......
Java Kafka简单地将Map对象序列化为json
最近用到kafka，想简单地把Map对象序列化为json发送到主题， 直接用string序列化，生成的结果不是json，虽然格式很像， key都没有引号，可能是直接调用的toString方法。 但是网上搜了一圈，都是spring组合或者其他不太简单的方案。 在哔站看了一段视频受到启发，就实现了一个自 ......
Kafka的系统架构和API开发
# 系统架构 **主题topic和分区partition** - topic Kafka中存储数据的逻辑分类；你可以理解为数据库中“表”的概念；比如，将app端日志、微信小程序端日志、业务库订单表数据分别放入不同的topic - partition分区（提升kafka吞吐量） topic中数据的具体 ......
.Net全网最简RabbitMQ操作【强烈推荐】
【前言】 本文自1年前的1.0版本推出以来，已被业界大量科技公司采用。同时也得到了.Net圈内多位大佬的关注+推荐，文章也被多家顶级.Net/C#公众号转载。 现在更新到了7.0版本，更好的服务各位.Neter。 【正文】 支持.Net/.Net Core/.Net Framework，可以部署在D ......
Kafka 面试题
## 1. 为什么要使用 Kafka，为什么要使用消息队列 1. 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，Kafka 在中间可以起到一个缓冲的作用，把消息暂存在 Kafka 中，下游服务就可以按照自己的节奏进行慢慢处理。 2. 解耦和扩展性：项目开始的时 ......
RocketMQ消费暂停问题分析
一、背景 客经使用rocketMq批量推送数据到pcr执行次贷策略引擎和互斥决策引擎，pcr将决策结果推送到前置路由。 二、问题现象描述 在客经推数据时，pcr-updateBorrowState消息积压越来越多，从日志上看，pcr不拉取消息，重启服务器后可以消费消息，过一会又消费变慢，不断重启才让 ......
RocketMQ保证高可用性
RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的。Master和Slave的区别： 在Broker的配置文件中，参数brokerId的值为0表明这个Broker是Master， 大于0表明这个Broker是Slave， brokerRole参数也说明这个Broker是Ma ......
流式处理平台Kafka为什么能这么快
天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的快指的是kafka在单位时间搬运的数据量大小，也就是吞吐量。下图是不同消息队列的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 那究竟是什么原因让kafka如 ......
RocketMQ 学习社区重磅上线！AI 互动，一秒了解 RocketMQ 功能源码
为了进一步帮助你全方位的了解 RocketMQ 相关的知识，同时可以更好的在实际生产环境中使用 RocketMQ，RocketMQ 学习社区重磅上线。 ......
kafka的安装和基本操作
# 基本概念 ## 简介 Kafka 最初是由 LinkedIn 即领英公司基于 Scala 和 Java 语言开发的分布式消息发布-订阅系统，现已捐献给Apache 软件基金会。其具有高吞吐、低延迟的特性，许多大数据实时流式处理系统比如 Storm、Spark、Flink等都能很好地与之集成。 总 ......
prometheus监控rabbitmq
【1】介绍 RabbitMQ 指标的 Prometheus 导出器。数据由prometheus 抓取。 请注意这是一个非官方插件。还有一个来自RabbitMQ.com的官方插件。 （1.1）RabbitMq 启动prometheus监控插件 参考官网文档： https://www.rabbitmq. ......
kafka实现高可用性
什么是高可用 「高可用性」，指系统无间断地执行其功能的能力，代表系统的可用性程度 Kafka从0.8版本开始提供了高可用机制，可保障一个或多个Broker宕机后，其他Broker能继续提供服务 备份机制 Kafka允许同一个Partition存在多个消息副本，每个Partition的副本通常由1个L ......
rocketmq
## rocketmq ```java 在 RocketMQ 中，msgId 和 offsetMsgId 是两个不同的概念。 msgId 是消息唯一标识符。具有全局唯一性，由 RocketMQ 在消息发送时自动生成。当消息被成功发送到 Broker 端后，msgId 会随着消息一起存储在 commi ......
RDS 、HDFS、 mapreduce 、spark 、hive、 hbase 、zookeeper 、kafka 、flume、mysql 安装时之间配置文件是如何依赖的？
这些技术是大数据领域的常用组件，它们之间的配置文件依赖关系如下： RDS是一种关系型数据库，可以独立安装和使用，不需要依赖其他组件。 HDFS是Hadoop分布式文件系统，通常与MapReduce一起使用。在Hadoop集群中，HDFS需要配置core-site.xml和hdfs-site.xml两 ......
Kafka 单机部署搭建及其基本使用
最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ，于是自己搭建了一套单机的kafka环境，以便用于测试。现整理如下的笔记，发上来和大家分享。后续还会有kafka的相关笔记，会与大家继续分享！ 当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web 一 ......
Linux 安装Kafka及远程访问
下载 wget 官网 tar -zxvf kafka_2.13-2.5.0.tgz 启动kafka和zookeeper 编写一个sh文件启动 /opt/kafka_2.13-3.0.0/bin/zookeeper-server-start.sh /opt/kafka_2.13-3.0.0/confi ......
RabbitMQ消息堆积
1.堆积原因 主要的问题有两个，第一个原因在于消费者消费消息的速度低于生产者的生产速度，其次消费者存在问题无法对消息进行消费 2.解决的思路 根据堆积的原因我们可以我们有两种思路，其中第一种就是去限制生产者的消息生产速度，另一种就是去提高消费者的消费能力。 2.1 限制生产者的生产速度 这种处理方法 ......
kafka
1.消息的模式主要两种，第一种点对点，消费完就删掉。第二种主流的，发布订阅，一对多，消费之后不会删掉。 2.卡夫卡的主要结构：生产者--broker--消费者，broker里有很多partation，实际上一个broker就是一台服务器，partation类似于es的分片，也有主分区从分区之分，只不 ......
RabbitMQ自学笔记
#RabbitMQ笔记总结 ## 常见概念 **Broker**：消息服务器，类似于Mysql服务器。 **Channel**：连接中的一个虚拟通道，消息队列发送或者接收消息时，都是通过信道进行的。 **Virtual host**：类似于Mysql数据中的数据库，库与库之间的是独立的， ......