rabbitmq kafka
Kafka安装部署
1. 集群规划 NameNode DataNode NodeManager QuorumPeerMain(zk) SecondaryNameNode ResourceManager Kafka hadoop1 ✅ ✅ ✅ ✅ ✅ hadoop2 ✅ ✅ ✅ ✅ ✅ hadoop3 ✅ ✅ ✅ ✅ ✅ ......
kafka设计理念解析
一.引言 kafka是广泛使用的流处理组件，我们知道怎么使用它，也知道它的实现原理。但是更重要的部分是它的设计理念，即kafka设计者当时是如何考量各种方案的，了解这些，对提升我们的设计能力非常有帮助。 二.动机 我们将 Kafka 设计为一个统一平台，来处理大型公司可能拥有的所有实时数据流。 为此 ......
【flink】重启kafka消费者
public class KafkaConsumerJob { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment. ......
【spring boot】 重启kafka客户端连接
背景 kafka 服务端重建时，kafka客户端会连不上kafka服务端，此时需要重启客户端重连 ##代码实现 @Service public class KafkaConsumerService { private KafkaConsumer<String, String> consumer; @ ......
RabbitMQ、RocketMQ、Kafka性能对比分析
MQ的作用 MQ的作用是解耦、异步、削峰填谷。 未使用MQ的情况 MySql并发写大部分情况下维持在600-800之间，并发读1200-1500之间，所以消费端在消费消息的时候需控制在并发小于1000，从而达到限流的效果。 使用MQ的情况 MQ做个缓冲，消息放到磁盘，几个G或上T都可以存储，消息丢失 ......
docker安装rabbitMq
rabbitMQ是一款开源的高性能消息中间件，最近项目要使用，于是使用docker搭建，快速方便 一、获取镜像 使用docker pull docker.io/rabbitmq:3.8-management 拉取镜像 我们选择了STARS数最多的官方镜像，此处需要注意，默认rabbitmq镜像是不带 ......
RabbitMQ详解（上）
一：MQ的相关概念 MQ(message queue)，从字面意思上看，本质是个队列，FIFO 先入先出，只不过队列中存放的内容是message 而已，还是一种跨进程的通信机制，用于上下游传递消息。在互联网架构中，MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了 MQ 之后， ......
CentOS7.9 安装 RabbitMQ
官方安装文档 https://www.rabbitmq.com/install-rpm.html 一、rpm 包下载 1. 下载 erlang https://packagecloud.io/rabbitmq/erlang/packages/el/7/erlang-23.3.4.11-1.el7.x ......
银河麒麟高级服务器操作系统V10 SP3安装kafka_2.12-2.3.1
银河麒麟高级服务器操作系统V10 SP3安装kafka_2.12-2.3.1 1.安装环境设置 1关闭Selinux 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 [root@localhost ~]# vim /etc/selinux/config ......
kafka业务数据到ODS层处理小记
kafka业务数据到ODS层处理小记 1：kafka消息partition分区，应以表主键为key 2：kafka消息落地后，同一批次数据中取主键+offset最大的一条，再删除基础数据中此批次数据，最后将此批次数据按数据处理类型（delete、insert、update），先insert、upda ......
kafka
首先配置好zookeeper 修改kafka配置文件 config/server.properties文件中 broker.id=0 port=9092 host.name=192.168.112.91 log.dirs=/usr/local/src/kafka/kafka-logs zookeep ......
Kafka 中基础概念
Broker相关概念 一台 Kafka 服务器节点就是一个broker。一个集群中包含多个 broker。 一个 Kafka 节点就是一个broker。一个或者多个broker节点组成一个Kafka的集群。 比如： 在现在的环境中，我们分别在 10.0.24.12、10.0.24.13、10.0.2 ......
Kafka 集群安装部署
为什么使用 Kafka 消息中间件 缓冲/消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理它们。 K ......
springboot 中使用 RabbitMQ 配置使用优先级队列
RabbitMQ 支持优先级队列，当工作中有一些任务需要紧急优先处理，此时可以使用优先级队列 通过设置 MQ 的 x-max-priority 属性可以将对列设置为优先级队列 配置文件类 @Slf4j @Getter @Configuration public class RabbitMQConfi ......
选举算法汇总（redis、zookeeper、kafka）
1.redis 哨兵(sentinel)模式 背景：哨兵模式，节点类型包括master、slave、和sentinel，master-slave节点和主从模式的作用是相同的；多了sentinel节点提高服务的可用性和稳定性 触发原因：master(简称A节点)节点异常，当一个sentinel发现A节 ......
kafka
安装kafka 首先安装jdk，zookeeper，kafka 将压缩包放进linux目录/opt/mySoftware下，并依次执行下面的命令 tar -zxvf jdk-8u361-linux-x64.tar.gz tar -zxvf zookeeper-3.4.12.tar.gz tar -z ......
Puppeteer+RabbitMQ：Node.js 批量加工pdf服务架构设计与落地
全文约8500字，阅读时长约10分钟。 智慧作业最近上线「个性化手册」（简称个册）功能，一份完整的个性化手册分为三部分： •学情分析：根据学生阶段性的学习和考试情况进行学情分析、归纳、总结，汇总学情数据；•精准推荐：推荐算法基于学情数据结合知识图谱进行精准练习题推荐；•错题回顾：错题的阶段性回顾复习 ......
SchemaRegestry组件原生的类和方法无法实现flink消费kafka的数据动态调整schema的情况--未彻底解决
0、前提知识储备 Conflurent公司的SchemaRegestry组件的基本了解和使用 一、背景： 0.组件版本 flink：1.14 1.链路调整情况 原先链路：oracle-->OGG-->kafka-->flink-->数据库\湖\仓 实现链路：oracle-->OGG-->kafka（ ......
RabbitMQ队列和交换机的相关知识点
1、关于交换机和队列的autodelete属性 交换机的autodelete属性作用：当属性值设置为true,那么当所有的队列断开于交换机的绑定,那么交换机会自动删除 队列的autodelete属性作用：自动删除队列和普通队列在使用上没有什么区别，唯一的区别是，当所有的相关消费者断开连接时，队列将会 ......
提高kafka消费速度之从源码去了解Spring-kafka的concurrency参数
网上看到这篇文章，觉得很不错，这里转载记录一下。 转自：提高kafka消费速度之从源码去了解Spring-kafka的concurrency参数 - 简书 第一部分、引言 在spring应用中，如果我们需要订阅kafka消息，通常情况下我们不会直接使用kafka-client，而是使用了更方便的一层 ......
面试题百日百刷-kafka篇(五)
**锁屏面试题百日百刷，每个工作日坚持更新面试题。**请看到最后就能获取你想要的, 接下来的是今日的面试题： 1.请简单描述一下kafka中消费者的负载均衡机制**** Kakfa的消费者负载均衡规定, 在一个消费者组内, 监控某一个topic的消费者的数量最多和这个topic的分片数量是相等的 如 ......
Kafka 安装部署
为什么使用 Kafka 消息中间件 缓冲/消峰：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况 解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理它们。 K ......
rabbitmq报错 无法连接到RabbitMQ: Exception (403) Reason: "no access to this vhost"
##可能原因 ###如果你连接的 mq 需要指定vhost，八成就是下面这个问题 ##解决方法 amqp.Dial("amqp://guest:guest@127.0.0.1:5672//dlyp") ###可以用下面这段代码测试 package main import ( "fmt" "githu ......
CentOS 7 搭建Kafka集群
CentOS 7 搭建Kafka集群 服务器环境准备 | IP | OS | JDK | | | | | | 192.168.1.25 | CentOS 7.9 | 1.8 | | 192.168.1.28 | CentOS 7.9 | 1.8 | | 192.168.1.22 | CentOS 7 ......
RabbitMQ的详细介绍
RabbitMQ的详细介绍 1.概述 RabbitMQ是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点，当你要发送一个包裹时，你把你的包裹放到快递站，快递员最终会把你的快递送到收件人那里，按照这种逻辑RabbitMQ是一个快递站，一个快递员帮你传递快件。RabbitMQ与快递站的主要区 ......
kafka集群搭建文档
概览 Kafka依赖ZooKeeper，所以需要先部署ZooKeeper集群。 环境准备 主机名IP aming01 192.168.222.128 aming02 192.168.222.129 aming03 192.168.222.130 设置主机名，并设置hosts 关闭Selinux、fi ......
面试题百日百刷-kafka篇(四)
**锁屏面试题百日百刷，每个工作日坚持更新面试题。**请看到最后就能获取你想要的, 接下来的是今日的面试题： 1.为什么kafka可以实现高吞吐？单节点kafka的吞吐量也比其他消息队列大，为什么？ Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬 ......
centos7安装RabbitMQ教程
转载自：https://www.cnblogs.com/qiansm/p/15241295.html centos7安装RabbitMQ教程 erlang版本：22.2.1 RabbitMQ版本：3.8.2 1、安装Erlang 1.1安装依赖 yum install epel-release yu ......
安装Zookeeper和Kafka集群
安装Zookeeper和Kafka集群 本文介绍如何安装Zookeeper和Kafka集群。为了方便，介绍的是在一台服务器上的安装，实际应该安装在多台服务器上，但步骤是一样的。 安装Zookeeper集群 下载安装包 从官网上下载安装包： curl https://dlcdn.apache.org/ ......
kafka消息顺序性学习
转自：https://cloud.tencent.com/developer/article/1839597 1.介绍 全局有序：需要1个Topic只能对应1个Partition，对应的consumer也要使用单线程或者保证消费顺序的线程模型。 局部有序：在发消息的时候指定Partition Key ......