链路 分布式opentelemetry rocketmq

雪花算法:分布式唯一ID生成利器

雪花算法:分布式唯一ID生成利器 程序新视界 ​关注他 前言 无论是在分布式系统中的ID生成,还是在业务系统中请求流水号这一类唯一编号的生成,都是软件开发人员经常会面临的一场景。而雪花算法便是这些场景的一个解决方案。 以分布式ID为例,它的生成往往会在唯一性、递增性、高可用性、高性能等方面都有所要求 ......
分布式 利器 算法 雪花

数据链路层传输协议(点到点):停等协议、GBN、SR协议

数据链路层的传输协议:停等协议、GBN、SR 停止等待协议(单窗口的滑动窗口协议) 滑动窗口协议:GBN、SR GBN协议 GBN发送方需响应的三件事 1. 上层调用(网络层) 上层要发送数据时,发送方先检查发送窗口是否已满。 如果未满,则产生一个帧并将其发送;如果窗口已满,发送方只需将数据返回给上 ......
链路 数据 GBN

celery 分布式异步消息任务队列

一、介绍 中文网:Celery 初次使用 - Celery 中文手册 (celerycn.io) Celery 官网:http://www.celeryproject.org/ Celery 官方文档英文版:http://docs.celeryproject.org/en/latest/index. ......
队列 分布式 任务 消息 celery

Redisson 实现分布式锁

Redisson 实现分布式锁 分布式锁的应用场景有哪些?实现的方式有哪几种?Redisson 又是怎么实现的? 1、应用场景、特点及实现方式 1.1、分布式锁的应用场景 主要有以下两类: 提升处理效率:避免重复任务的执行,减少系统资源的浪费(例如幂等场景)。 保障数据一致性:在多个微服务并发访问时 ......
分布式 Redisson

RocketMQ 为什么会丢消息,如何保证消息不丢失

Producer 丢消息 1.同步发送 RocketMQ发送消息有三种模式,即同步发送,异步发送、单向发送。 同步发送消息时会同步阻塞等待Broker返回发送结果,如果发送失败不会收到发送结果SendResult,这种是最可靠的发送方式。 异步发送消息可以在回调方法中得知发送结果。 单向发送是消息发 ......
消息 RocketMQ

分布式事务

参考: 《凤凰架构》,原书 https://icyfenix.cn/ 本节所说的分布式事务(Distributed Transaction)特指多个服务同时访问多个数据源的事务处理机制。 CAP定理(Consistency、Availability、Partition Tolerance Theor ......
分布式 事务

链路交换

具体来说,电路交换是指面向连接的服务所请求到的是一条物理的电路连接,他是以独占的方式使用物理电路连接。而虚电路是在一条物理电路上实现复用,是一条逻辑的电路,在一条物理连接上可以建立许多虚电路 ......
链路

Xxl-job 分布式调度任务使用

Xxl-job 分布式调度任务使用 一.XXL-job 产品介绍 1.简介: XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展. 作者是大众点评的许雪里.目前最新版本为v2.x. 2.特性功能: 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单, ......
分布式 任务 Xxl-job Xxl job

分布式应用开发的核心技术系列之——基于TCP/IP的原始消息设计

本文由葡萄城技术团队原创并首发。转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。 前言 本文的内容主要围绕以下几个部分: TCP/IP的简单介绍。 消息的介绍。 基于消息分类的传输格式(流类型和XML类型)。 消息体系的组成。 TCP/IP的简单介绍 TCP ......
应用开发 分布式 核心 消息 技术

分布式ID

参考: JavaGuide:《分布式 id》 1、数据库主键自增 优点 :实现起来比较简单、ID 有序递增、存储消耗空间小 缺点 : 支持的并发量不大、存在数据库单点问题(可以使用数据库集群解决,不过增加了复杂度)、ID 没有具体业务含义、安全问题(比如根据订单 ID 的递增规律就能推算出每天的订单 ......
分布式

浅谈分布式事务及解决方案

1 背景 在讲述分布式事务的概念之前,我们先来回顾下事务相关的一些概念。 1.1 事务的基本概念 就是一个程序执行单元,里面的操作要么全部执行成功,要么全部执行失败,不允许只成功一半另外一半执行失败的事情发生。例如一段事务代码做了两次数据库更新操作,那么这两次数据库操作要么全部执行成功,要么全部回滚 ......
分布式 解决方案 事务 方案

Prometheus监控RocketMQ

本文基于官方提供的RocketMQ Exporter来监控RocketMQ集群 1.Broker TPS/QPS的监控 2.消息积压监控 3.消费组消费演示监控 最终的Grafana面板效果图如下: 楼主RocketMQ环境是三主三从集群(只要在其中一台部署监控即可) 配置步骤 1.安装Rocket ......
Prometheus RocketMQ

为什么不建议用redis做金融级分布式锁

最主要的问题是: 1.redis是AP而非CP的,所以在比如集群迁移等情况时可能产生两个应用在同一时间读取同一个key的数据是不一致的; 2.redis的key过期机制,可能加锁后业务执行了很长时间(STW或者IO很久)导致加锁区域的代码可能被另外一个进程/线程进来了; 3.目前金融级的分布式锁应该 ......
分布式 建议 金融 redis

【漏洞复现】Apache RocketMQ 代码注入漏洞(CVE-2023-37582)

产品介绍 Apache RocketMQ是美国阿帕奇(Apache)基金会的一款轻量级的数据处理平台和消息传递引擎。 漏洞概述 Apache RocketMQ 存在代码注入漏洞,该漏洞源于当 NameServer 地址在外网泄露且缺乏权限验证时,NameServer 组件仍然存在远程命令执行漏洞,在 ......
漏洞 RocketMQ 代码 Apache 37582

SAGA分布式

Saga是由一系列的本地事务构成。每一个本地事务在更新完数据库之后,会发布一条消息或者一个事件来触发Saga中的下一个本地事务的执行。如果一个本地事务因为某些业务规则无法满足而失败,Saga会执行在这个失败的事务之前成功提交的所有事务的补偿操作。 Saga的实现有很多种方式,其中最流行的两种方式是: ......
分布式 SAGA

有手就会做!保姆级Jmeter分布式压测操作流程(图文并茂)

分布式压测原理 分布式压测操作 保证本机和执行机的JDK和Jmeter版本一致 配置Jmeter环境变量 配置Jmeter配置文件 上传每个执行机服务jmeter chmod -R 755 apache-jmeter-5.1.1/ 执行机配置写自己的ip 控制机配置所有执行机ip,把server.r ......
分布式 图文并茂 保姆 流程 图文

分布式一致性算法Raft

raft算法之所以容易理解,其一是他将一致性问题划分成几个子问题,这几个子问题都是独立、可理解和解释的。从传统的思维来讲,对于一个复杂的系统或者工程,都是大化小,分解实现,然后去尝试融合解决整体逻辑。 一、Raft详解 Raft算法是分布式系统开发首选的共识算法。比如现在流行Etcd、Consul、 ......
一致性 分布式 算法 Raft

【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available)

【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available) 别出BUG求求了 于 2022-04-30 16:15:38 发布 阅读量3.1k 收藏 18 点赞数 7分类专栏: 分布式 文章标签: debian ......
树莓 分布式 available because public

分布式一致性协议 之 Paxos协议

1、什么是Paxos Paxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算法,是目前公认的解决分布式一致性问题最有效的算法之一。 Paxos由 莱斯利·兰伯特(Leslie Lamport)于1998年在《The Part-Time Parliamen ......
一致性 分布式 Paxos

【RocketMQ】RocketMQ 5.0新特性(三)- Controller模式

在RocketMQ 5.0以前,有两种集群部署模式,分别为主从模式(Master-Slave模式)和Dledger模式。 主从模式 主从模式中分为Master和Slave两个角色,集群中可以有多个Master节点,一个Master节点可以有多个Slave节点。Master节点负责接收生产者发送的写入 ......
RocketMQ Controller 特性 模式 5.0

茶百道全链路可观测实战

随着业务规模的急速扩展,茶百道全面加速推进数字化转型战略。但由于茶百道部分早期业务系统由外部 SaaS 服务商提供,无法满足线上业务高速增长所带来的大规模、高并发、弹性扩展、敏捷性、可观测等要求。为了满足线上线下门店客户需求与业务增长需要,针对店务、POS、用户交易、平台对接、门店管理、餐饮制作等核... ......
链路 实战

分布式存储系统需要解决的问题

0.数据集群的两种架构 数据集中集群 (多主从) 数据分散集群 数据同步 主节点环形空间 + 从节点position 去判断是该增量还是全量。 同步方式 以数据快照的方式同步 -- 通常是全量 以命令的方式(执行语句的方式同步) -- 增量 数据快照生成过程中的写入问题 以mvcc方式,可重复读的方 ......
分布式 问题 系统

Snowflake算法生成分布式ID实现Go、C++

Snowflake 算法是一种用于生成全局唯一 ID 的分布式算法。它在分布式系统中被广泛应用,用于解决多节点同时生成 ID 的冲突问题。 Snowflake 算法的核心思想是将一个64位的长整数(Long)分解成多个部分,每个部分代表不同的信息,例如时间戳、节点ID和序列号。通过这种方式,Snow ......
分布式 算法 Snowflake

Julia课程4:分布式计算

在本章中,我们将学习Julia中实现分布式算法的基本工具。我们介绍了Julia中的用于分布式计算的两种主要编程模型:1)Julia标准库附带的基于任务的模型;2)Julia与消息传递接口MPI的绑定。 学习完本章节后,我们应该能够: 使用两种不同的编程模型(基于任务的模型和MPI)在Julia中实现 ......
分布式 课程 Julia

分布式系统理解

什么是分布式系统 任务在多个相对独立的物理节点上进行(即软件或硬件分布在不同的计算机设备上)简单说,就是不同的业务模块,部署在不同服务器。彼此通过消息传递进行通信。解决了高并发问题。 分布式特点 CAP:代表了分布式系统的三个相互矛盾的属性 1.Consistency(一致性): 访问所有节点,得到 ......
分布式 系统

博学谷学习记录 自我总结 用心分享 | ElasticSearch分布式检索引擎

1、Elasticsearch基本概念 Elasticsearch是基于Apache Lucene的开源、分布式、可扩展、实时的数据搜索和分析引擎。ES不仅仅支持全文搜索,还是一个分布式文档数据库,每个字段都是被索引的数据并且可被搜索。总体来说有如下特性: 一个分布式的实时文档存储引擎,每个字段都可 ......

Kafka:用于日志处理的分布式消息系统

周末躺不平,摆不烂,卷不动,随便读一篇paper吧 原文:Kafka: a Distributed Messaging System for Log Processing 作者:Jay Kreps / Neha Narkhede / Jun Rao 这三尊神就是当初在LinkedIn开发Kafka的 ......
分布式 消息 系统 Kafka 日志

Redis分布式锁实现

FreeRedis 实现源码 /// <summary> /// 开启分布式锁,若超时返回null /// </summary> /// <param name="name">锁名称</param> /// <param name="timeoutSeconds">超时(秒)</param> /// ......
分布式 Redis

全球洋流分布、性质

手画,丑,见谅 正常洋流 北赤道暖流 分布:赤道偏北的洋面上。 特点:直线向西流。 本质:风海流(信风吹拂)。 南赤道暖流 分布:赤道偏南的洋面上。 特点:直线向西流。 本质:风海流(信风吹拂)。 西风漂流 分布:南半球西风带。 特点:向东流,环绕地球。 本质:风海流(西风吹拂)。 赤道逆流 分布: ......
洋流 性质 全球

分布式--Base理论

一、定义 BASE 是 Basically Available(基本可用)、Soft-state(软状态) 和 Eventually Consistent(最终一致性) 二、简介 BASE理论本质上是对CAP的延伸和补充,是对CAP中的AP方案的一个补充,即在选择AP方案的情况下,如何更好地最终达到 ......
分布式 理论 Base