链路 分布式opentelemetry rocketmq

Kafka的分布式架构与高可用性

导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统,那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构,整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
可用性 分布式 架构 Kafka

Redis分布式锁

简述 利用Redis的Setnx命令,来实现一个分布式的加锁方案。利用注解,在拥有该注解的方法上,进行切面处理,在方法执行前,进行加锁,执行结束后,根据是否自动释放锁,进行解锁。 将该注解用在定时任务的方法上,即可实现分布式定时任务,即获取到锁的方法,才会执行。 1 redis命令 1.1 setn ......
分布式 Redis

分布式事务:XA和Seata的XA模式

上一篇内容《从2PC和容错共识算法讨论zookeeper中的Create请求》介绍了保证分布式事务提交的两阶段提交协议,而XA是针对两阶段提交提出的接口实现标准,本文则对XA进行介绍 ......
分布式 事务 模式 Seata

Mysql 分布式序列算法

接上文 Mysql分库分表 1.分布式序列简介 在分布式系统下,怎么保证ID的生成满足以上需求? ShardingJDBC支持以上两种算法自动生成ID。这里,使用ShardingJDBC让主键ID以雪花算法进行生成,首先配置数据库,因为默认的注解id是int类型,装不下64位,需要进行修改: # 在 ......
分布式 序列 算法 Mysql

分布式系统笔记目录

分布式系统笔记目录 本目录源自我校的分布式系统课程,我觉得很有趣,就制作了笔记并分享 老师的笔记的目录结构感觉还是有些问题,但是当时学习时间比较紧,就没来得及排版 仅供学习使用 第一章:基本概念 分布式系统相关概念、与并行计算的关系、云计算概念、分布式计算的背景、目的、应用及展望 第二章:模型问题 ......
分布式 笔记 目录 系统

RocketMQ 中订阅关系 按照业务分类合理拆分主题

小结: 1、 流式操作语义 Apache RocketMQ 基于队列的存储模型可确保消息从任意位点读取任意数量的消息,以此实现类似聚合读取、回溯读取等特性,这些特性是RabbitMQ、ActiveMQ等非队列存储模型不具备的。 2、 Apache RocketMQ 队列模型和Kafka的分区(Par ......
业务分类 RocketMQ 业务 主题

关于分布式操作系统

关于分布式操作系统,如果你不太理解的话,可以把它看成是传统操作系统延展。二者的区别在于,传统的操作系统都是单机系统,只能在一台计算机上运行,而分布式操作系统是多机系统,每台计算机都是系统中的一个计算单元,在此基础形成建立网络连接,统一输入输出,形成一个巨大的物理分布逻辑统一的计算机集群。 所以分布式 ......
分布式 系统

数据链路层的关键技术实现

1. 链路建立与释放通过异步协议建立和释放点对点的链路。典型协议有PPP协议。 2. 封装成帧在网络层传下来的IP数据报上加上目标MAC地址、源MAC地址等字段构成帧。 3. 差错检测通过增加CRC码来实现对帧中比特差错的检测。 4.流量控制通过滑动窗口机制来进行流量控制,防止过快发送帧导致溢出。 ......
链路 关键 数据 技术

【RocketMQ】Dledger模式下的日志复制

RocketMQ在开启Dledger时,使用DLedgerCommitLog,其他情况使用的是CommitLog来管理消息的存储。在Dledger模式下,消息写入时Leader节点还需要将消息转发给Follower节点,有过半的节点响应成功,消息才算写入成功。 Leader消息写入 Dledger下 ......
RocketMQ Dledger 模式 日志

以太网链路连接 和 ISIS/OSPF等路由协议关系

转载请注明出处: 以太网链路连接和ISIS/OSPF协议之间存在关联和区别。 关联: 以太网链路连接是指通过以太网物理媒介(如电缆)将网络设备进行连接,使它们可以交换数据。 ISIS(Intermediate System to Intermediate System)是一种路由协议,用于在计算机网 ......
链路 以太网 路由 ISIS OSPF

Redis分布式锁演进架构

分布式锁相信大家一定不会陌生,想要用好或者自己写一个却没那么简单。想要达到上述的条件,一定要 **掌握分布式锁的应用场景**,以及分布式锁的不同实现,不同实现之间有什么区别。 ......
分布式 架构 Redis

Redis学习之分布式全局id生成

介绍 为什么需要分布式全局 ID 生成器? 对于订单这种数据,数据库自增的规律性太明显,会暴露一些信息(比如根据昨日和今日的订单号差值看出销量) 数据量过大时,不同表的 id 分别自增,容易出现 id 冲突 分布式全局 ID 生成应满足的特点: 唯一:整个系统每个 id 都是唯一的 递增:虽然不连续 ......
分布式 全局 Redis

LSP 链路状态协议

转载请注明出处: 链路状态协议(Link State Protocol)是一种在计算机网络中用于动态计算路由的协议。它的主要作用是收集网络拓扑信息,为每个节点构建一个准确的网络图,并基于这些信息计算出最短路径。常见的链路状态协议有OSPF(开放最短路径优先)和IS-IS(中间系统到中间系统)。 链路 ......
链路 状态 LSP

GJOI 2023.10.5 T1 雷老师的正偏态分布

雷老师的正偏态分布 题意:给出一个长度为 \(n\) 的 \(a\) 数组,其中 \(1 \le a_i \le V , 1 \le i \le n\) 。统计其中的满足平均数严格小于中位数且大小为奇数的子集数量,\(n \le 100 , V \le 800\),时限 \(4\) s 。 输入: ......
老师 GJOI 2023 10 T1

分布式事务 —— SpringCloud Alibaba Seata

Seata 简介 传统的单体应用中,业务操作使用同一条连接操作不同的数据表,一旦出现异常就可以整体回滚。随着公司的快速发展、业务需求的变化,单体应用被拆分成微服务应用,原来的单体应用被拆分成多个独立的微服务,分别使用独立的数据源,业务操作需要调用三个服务来完成。此时每个服务内部的数据一致性由本地事务 ......
分布式 SpringCloud 事务 Alibaba Seata

分布式事务

目录CAP定义C- Consistency如何实现一致性分布式系统一致性特点A-Avalilability如何实现分布式可用性的特点P-Partition tolerance如何实现特点组合BASE CAP 定义 CAP,3者无法同时满足。 C- Consistency 一致性指写操作后读操作可读到 ......
分布式 事务

线性混合模型为什么是多元高斯分布

如何建立高斯模型,可以看图根据每类数据做一个高斯函数,然后做一个混合高斯密度函数。如果提取目标的话得把目标的概率函数提取出来。 ......
线性 模型

分布律,概率分布函数,概率密度函数

1. 分布律 定义 分布律只针对离散型随机变量,连续型没有 设离散型随机变量可能取值为\(x_k(k=1,2,...)\),事件\(\{X=x_k\}\)的概率为离散型随机变量\(X\)的分布律,记作\(P\{X=x_k\} = p_k,k=1,2...\) 性质 \(p_k>=0\) 。\(p_k ......
概率 函数 密度

几何分布和超几何分布

几何分布 定义 在独立重复试验中,实验次数预先不能确定,设每次实验成功的概率为p,将实验进行到成功一次为止,以\(X\)表示所需的实验次数,则\(X\)的分布律为 \[P\{X=k\}=(1-p)^{k-1}p,k=1,2,3... \]称随机变量\(X\)服从参数为\(p\)的几何分布 例 设某篮 ......
几何

C++类内存分布+ Studio工具

书上类继承相关章节到这里就结束了,这里不妨说下C++内存分布结构,我们来看看编译器是怎么处理类成员内存分布的,特别是在继承、虚函数存在的情况下。 工欲善其事,必先利其器,我们先用好Visual Studio工具,像下面这样一步一步来: 先选择左侧的C/C++->命令行,然后在其他选项这里写上/d1 ......
内存 工具 Studio

Leaf-美团的分布式ID生成器

简介 在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的自增ID显然不能满足需求;特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够 ......
生成器 分布式 Leaf

RocketMQ简单入门

服务端安装及配置 docker安装 docker pull rocketmqinc/rocketmq:4.4.0 指定版本号是为了后面确定配置文件的路径 启动namesrv docker run -d -p 9876:9876 --name rocketmq-nameservice -e MAX_P ......
RocketMQ

VLAN链路类型

交换机的端口,可以分为两种: ■ 访问链接(Access Link) ■ 汇聚链接(Trunk Link) 1.访问链接(Access Link) 访问链接,指的是“只属于一个VLAN,且仅向该VLAN转发数据帧”的端口。在大多数情况下,访问链接(Access)所连的是客户机。 通常设置VLAN的顺 ......
链路 类型 VLAN

Redis实现分布式锁

一、分布式锁 参考资料: www.cnblogs.com/wangyingshu… 很多场景中,需要使用分布式事务、分布式锁等技术来保证数据最终一致性。有的时候,我们需要保证某一方法同一时刻只能被一个线程执行。 在单机(单进程)环境中,JAVA提供了很多并发相关API,但在多机(多进程)环境中就无能 ......
分布式 Redis

Laxcus分布式操作系统相比Linux操作系统的优势

一位微信网友的提问:LAXCUS分布式操作系统和LINUX操作系统相比,有什么优势? 答:LAXCUS分布式操作系统做为一种新型的多机操作系统,是操作系统家族的新物种。它最大的特点是聚合能力,能够将海量的物理计算机集合到一起,变成一台物理分散逻辑统一的单台计算机,在此基础上,实现超大规模算力的统一输 ......
系统 分布式 优势 Laxcus Linux

Go每日一库之168:redsync(redis分布式锁)

今天给大家推荐的是基于redis的Go版本的分布式锁工具:[redsync]()。该工具也是redis官网上推荐的。redsync 基于redis的高可用、高性能、防死锁、防误删的分布式锁实现,具有高性能、高可用、防死锁、防误删的特点。 ## 一、分布式锁基础知识 **什么是分布式锁** 锁,在编程 ......
分布式 redsync redis 168

分布式操作系统

分布式操作系统属于多机操作系统,能够统一一套计算机集群,相比单机系统,分布式操作系统在管理计算机集群方面要简单很多。各种分布式的基础功能,都集中到分布式操作系统来实现,而不是单机系统的应用软件来实现,比如容错冗余、分布式应用的编程开发等。由于系统底层的改变,分布式操作系统能够比单机操作系统输出更多的 ......
分布式 系统

locust:Python 分布式压力测试(带WebUI)

# Locust 介绍 它采用纯 Python 实现,是一个分布式用户负载测试的工具。 使用基于 Requests 库的客户端发起请求,使编写脚本大大简化; 在模拟并发方面摒弃进程和线程,完全基于时间驱动,采用协程(gevent)提供的非阻塞 IO 和 coroutine 来实现网络层的并发请求。因 ......
分布式 压力 locust Python WebUI

【RocketMQ】DLedger模式下的选主流程分析

RocketMQ 4.5版本之前,可以采用主从架构进行集群部署,但是如果master节点挂掉,不能自动在集群中选举出新的Master节点,需要人工介入,在4.5版本之后提供了DLedger模式,使用Raft算法,如果Master节点出现故障,可以自动选举出新的Master进行切换。 Raft协议 R ......
主流程 RocketMQ 主流 DLedger 模式

分布式事务提交慢的一次总结和思考

分布式事务提交慢的一次总结和思考 背景 分布式事务未提交 是应用程序出现宕机异常的很重要的一原因. 应用宕机主要可以分为: 1. 内存泄露导致的OOM宕机. 表现在系统越来越慢, 应用的内存和CPU占用量越来越高. 最终达到无响应的状态, 此时数据库一般是正常的. 2. 分布式事务未提交导致的宕机, ......
分布式 事务