副本 策略 消息kafka
kafka工作原理
# 1. 工作流程以及文件存储机制 kafka 中的消息是以topic进行分类的，生产消费消息都是面向topic。 topic是逻辑上的概念，partition 分区是物理上的概念，每个分区对应一个log文件，该log文件存储的就是producer 生产的log 数据。producer生产的 ......
linux内存回收策略
1、64位操作系统进程可以最大申请多大的虚拟内存？ 64位操作系统的进程可以最大申请的虚拟内存取决于操作系统的架构和其对虚拟内存的管理方式。在理论上，64位操作系统可以支持非常大的虚拟内存空间。 在大多数64位操作系统中，每个进程最大可以申请的虚拟内存大小通常为2^64字节，也就是16EB（Exab ......
探索后疫情时代Airbnb实现逆周期增长的四大策略
01. 发挥P2P优势，打造差异化的“旅居生活体验” P2P（Peer-to-Peer）是一种点对点的网络模式，即用户之间可以直接进行交流和交易，无需通过中介或第三方机构。早期Airbnb对P2P的利用仅局限在空置房间的供应上，初期目标客户定位为只追求便宜价格的沙发客，这一客户群体不要求过多的舒适 ......
Redis的rehash的策略
背景： redis字典（hash表）当数据越来越多的时候，就会发生扩容，也就是rehash 对比：java中的hashmap，当数据数量达到阈值的时候(0.75)，就会发生rehash，hash表长度变为原来的二倍，将原hash表数据全部重新计算hash地址，重新分配位置，达到rehash目的 re ......
如何保证消息一定被消费
为什么消息会丢失？（三个消息可能丢失的地方） 1、消息在写到消息队列的过程中丢失 业务服务器和消息队列服务器可能会出现网络抖动，当出现了网络抖动，消息就会丢失。 1）消息生产者把消息发送给MQ，如果接收成功，MQ会返回一个ack消息给生产者 2）如果消息接收不成功，MQ会返回一个nack消息给生产者 ......
如何保证消息消费的顺序性
消息错乱场景 rabbitMQ 一个 queue，多个 consumer，生产者向 RabbitMQ 里发送了三条数据，顺序依次是 data1/data2/data3，压入的是 RabbitMQ 的一个内存队列。结果消费者2先执行完操作data2，然后是 data1/data3 kafka 一个 t ......
如何保证消息不被重复消费
（以kafka为例） 生产者 在 Kafka0.11 版本和 Pulsar 中都支持“producer idempotency”的特性，翻译过来就是生产过程的幂等性，这种特性保证消息虽然可能在生产端产生重复，但是最终在消息队列存储时只会存储一份 它的做法时给每一个生产者一个唯一的 ID，并且为生产的 ......
kafka消息的顺序性
传统队列的顺序性 传统队列在服务器上保存有序的记录，如果多个消费者消费队列中的数据， 服务器将按照存储顺序输出记录。虽然服务器按顺序输出记录，但是记录被异步传递给消费者， 因此记录可能会无序的到达不同的消费者。这意味着在并行消耗的情况下， 记录的顺序是丢失的。因此消息系统通常使用“唯一消费者”的概念 ......
kafka的主从同步
kafka的主从同步 Kafka允许topic的分区拥有若干副本，所以当一个节点down掉时数据依然是可用的 创建副本的单位是topic的分区，每个分区都有一个leader和零或多个followers，所有的读写操作都由leader处理 一般分区的数量都比broker的数量多的多，各分区的leade ......
mq和kafka的区别
Kafka和MQ（消息队列）是两个不同的消息传递系统，它们的区别主要表现在以下几个方面： 1. 数据处理方式：Kafka是一种流式数据处理平台，用于在高吞吐量条件下发送、存储和处理消息流。MQ则更侧重于异步消息传递，即将消息发送到队列中，由消费者按照一定规则进行消费。 2. 消息持久化：Kafka基 ......
kafka环境搭建（Windows10）
1.安装Java jdk 说明：kafka是使用zookeeper来进行集群部署，zookeerper运行环境依赖Java环境，因此需要安装Java jdk，并设置好系统环境变量。 1.1下载jdk 1.8 华为提供的下载服务：https://repo.huaweicloud.com/java/jd ......
Kafka副本机制
1 副本机制的定义：所谓副本机制（Replication），也可以称之为备份机制，通常是指分布式在多台网络互连的机器上保存有相同的数据拷贝。 2 副本机制的好处： 提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。 提供高伸缩性。支持横向扩展，能够通过增加 ......
MQTT消息发送和接收的实现
我是不会的，全是从网上搜的，最终整理拼合的可以使用了，使用C#和VS2019，MQTT使用3.1.0版本，需要注意的是不同的版本代码是不一样的，对于咱这种不会的，当然是以能用为主了，你要是安装的最新的4.0版本，那还是换换吧 首先需要在nuGet中引用下面的三个，MQTTnet 3.1.0、MQTT ......
Kafka通信模型/流程
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议 由于UDP协议是一种不可靠的传输协议，所以Kafka系统采用TCP协议作为服务间的通信协议 通信 通信模型 Reactor线程模型 Java NIO中的selector模型。最简单的Reacto ......
2-kafka日志和分区
1.topic中日志存储形式 分区内部有序，但是同一分区不同partion之间的消息的顺序是无法得知的； 2.分区有序概念 kafka是消息队列，数据在写入topic是按照轮循或者hash(key)%分区数方式将数据写入，分区中是无法保证分区与分区 数据的顺序，只能保证分区内部数据的顺序，但是无法得 ......
git提交消息规范的中文解释
记录一下： 1. build：与构建系统或外部依赖项的更改相关的提交 2. chore：对项目的其他辅助性工作进行的提交，例如更新依赖项或重命名文件 3. ci：与持续集成（Continuous Integration）系统相关的提交 4. docs：与文档相关的提交，例如更新README文件或添加 ......
Redis中消息队列的实现方式及php使用示例
# 前言 > 消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。类似于火车站排队买票、秒杀及抢购等场景应用广泛。 ##### 原文地址：[https://www.ngxcode.com/archives/753.html] ......
超长文本消息回写企业微信端后台应用遭到截断
当向企业微信的自建应用推送消息时：消息内容最长不超过2048个字节，超过将截断。为此通过简单的拆分字符回写解决，解决方式如下 关键代码：根据非单词字符拆分字符串 String[] parts = content.split("(?<=\\W)"); private void writeRespons ......
首次启动Kafka报Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
首次启动Kafka报错如下： 原因：内存不足，查看启动配置 调小一些： ......
Kafka面试题
# kafka 都有哪些特点？ 高吞吐量，低延迟 可以热扩展 并发度高 具有容错性(挂的只剩1台也能正常跑) 可靠性高 # 在哪些场景下会选择 kafka？ kafka的一些应用 - 日志收集：一个公司可以用kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consum ......
Git更改提交消息——如何使用Git Amend编辑提交消息
提交消息在 Git 版本控制中起着至关重要的作用。它们提供对存储库所做更改的历史记录。 清晰且描述性的提交消息可帮助您更好地与团队成员协作，更轻松地维护您的代码，并了解项目的运作方式。 但有时由于拼写错误、不准确或信息不足，您可能需要编辑提交消息。这就是 Git amend发挥作用的地方。 在本文中 ......
Kafka-数据出现积压的原因以及如何解决积压问题？
Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 ......
Kafka关键原理
# 日志分段切分条件 日志分段文件切分包含以下4个条件，满足其一即可： 1. 当前日志分段文件的大小超过了broker端参数 `log.segment.bytes` 配置的值。`log.segment.bytes`参数的默认值为 `1073741824`，即1GB 2. 当前日志分段中消息的最小时间 ......
golang实现设计模式之策略模式-优缺点，适用场景
`策略模式`是一种行为型的设计模式，该模式定义了一系列算法，并将每个算法封装起来，使它们可以相互替换，且算法的变化不会影响使用算法的客户，或者认为把使用算法的责任和算法的实现分割开来，并委派给不同的对象对这些算法进行管理。 **结构** * 1.抽象策略（Strategy）类。定义了一个公共接口，各 ......
常用的消息中间件
RocketMQ 阿里开源，阿里参照kafka设计的，Java实现 能够保证严格的消息顺序 提供针对消息的过滤功能 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 RabbitMQ Erlang实现，非常重量级，更适合于企业级的开发。同时实现了Broker架构 ......
开源 API 网关-访问策略（二）
在上篇文章API网关：开源 API 网关-访问策略(一) 中，我们简单演示了如何在IP维度中对请求路径设置黑白名单，以此来限制客户端请求的权限和范围。 此外，Apinto网关为客户端提供了一种统一的、基于访问密钥的认证机制，让客户端可以根据权限定制专属的访问策略，以满足其对服务和API的访问需求，有 ......
使用Java开发微信公众平台（二）——消息的接收与响应
上一篇文章中，我们学习了使用Java语言开发微信公众平台的第一部分——[环境搭建与开发接入](https://juejin.cn/spost/7242596568690851896)。那么，本篇文章，我们将在此基础上，学习【**消息的接收与响应**】。 > 喜欢本文，请点击下方喜欢按钮呗！❤️ 当然 ......
1-kafka介绍及基础架构
1.kafka: 高吞吐量的分布式发布订阅消息系统； 1>同步变异步 2>解耦 3>削峰填谷 2.消息队列的两种工作模式: 保证到kafka中的消息被多个消费者消费，并且被相同消费者重复消费； 3.kafka集群形式 4. hash:消息的均匀分散，相同的key落入同一分区 只有leader负责分区 ......
MQ系列13：消息大量堆积如何为解决
[MQ系列1：消息中间件执行原理](https://www.cnblogs.com/wzh2010/p/15888498.html "MQ系列1：消息中间件执行原理") [MQ系列2：消息中间件的技术选型](https://www.cnblogs.com/wzh2010/p/15311174.htm ......
高性能消息队列disruptor
# 一、概述 1. Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCon演讲后，获得了业界关注。 2. Disrup ......