分布式
如何使用Redis实现分布式锁？
首先来说 Redis 作为一个独立的三方系统，其天生的优势就是可以作为一个分布式系统来使用，因此使用 Redis 实现的锁都是分布式锁，理解了这个概念才能看懂本文所说的内容。 分布式锁的示意图，如下所示：  # 1. 基本信息 发布！设计与部署稳定的分布式系统 第2版 Release It! Design and Dep ......
分布式共识算法之Raft设计与实现
### 如何理解分布式共识? 多个参与者 针对 某一件事 达成完全 一致 ：一件事，一个结论 已达成一致的结论，不可推翻 ### 有哪些分布式共识算法? - Paxos：被认为是分布式共识算法的根本，其他都是其变种，但是 Paxos 论文中只给出了单个提案的过程，并没有给出复制状态机中需要的 mul ......
集群、分布式、微服务概念和区别
概念: 集群是个物理形态，分布式是个工作方式。 1.分布式：一个业务分拆多个子业务，部署在不同的服务器上 2.集群：同一个业务，部署在多个服务器上 分布式是指将不同的业务分布在不同的地方。而集群指的是将几台服务器集中在一起，实现同一业务。 分布式中的每一个节点，都可以做集群。而集群并不一定就是分布式 ......
分布式布隆过滤器
# 1. 分布式布隆过滤器的价值 集群环境太浪费系统资源、集群环境也不容易对布隆过滤器进行维护，所以采用Redisson框架的分布式布隆过滤器。 # 2. Redisson提供的分布式布隆过滤器的使用 ```java // 获取一个分布式的布隆过滤器(RedissonClient) RBloomFi ......
读发布！设计与部署稳定的分布式系统（第2版）笔记33_混沌工程
 # 1. 康威定律 ## 1.1. 梅尔文·康威 ### 1.1.1. Melvin Conway ### 1.1 ......
Redis分布式锁笔记
1 redis 分布式锁实现原理 所谓分布式锁，应当基本如下几项核心性质： • 独占性：对于同一把锁，在同一时刻只能被一个取锁方占有，这是锁最基础的一项特征 • 健壮性：即不能产生死锁（dead lock）. 假如某个占有锁的使用方因为宕机而无法主动执行解锁动作，锁也应该能够被正常传承下去，被其他使 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记32_适应性
 # 1. 变化就是软件的特性 ## 1.1. 变化保证天天有，存活保障无处寻 ## 1.2. 非每一款软件每天都需 ......
分布式存储系统举例剖析（elasticsearch，kafka，redis-cluster）
1. 概述 对于分布式系统，人们首先对现实中的分布式系统进行高层抽象，然后做出各种假设，发展了诸如CAP, FLP 等理论，提出了很多一致性模型，Paxos 是其中最璀璨的明珠。我们对分布式系统的时序，复制模式，一致性等基础理论特别关注。 在共识算法的基础上衍生了选举算法，并且为分布式事务提供了部分 ......
分布式锁-lua脚本
// 工具类@Component public class RedisLock { @Autowired private RedisTemplate redisTemplate; // 时间轮异步定时执行 private HashedWheelTimer timer = new HashedWhee ......
关于分布式锁的思考
词汇： 任务：能在CPU上运行的指令段 资源：能存储在内存或硬盘的任何数据 节点：执行任务的实例 背景： 由于现代计算机的发展，大任务大部分时候需要拆分成小任务去并行执行。单台计算机：批处理脚本->多线程->多核并行->协程，再到现在的虚拟机->容器->微服务等等。都是做隔离和拆分，将大任务拆解成小 ......
分布式缓存项目RQCache（Go）
在计算机系统中，缓存无处不在，比如我们访问一个网页，网页和引用的 JS/CSS 等静态文件，根据不同的策略，会缓存在浏览器本地或是 CDN 服务器，那在第二次访问的时候，就会觉得网页加载的速度快了不少；比如微博的点赞的数量，不可能每个人每次访问，都从数据库中查找所有点赞的记录再统计，数据库的操作是很 ......
【分布式技术专题】「分布式ID系列」百度开源的分布式高性能的唯一ID生成器UidGenerator
[推荐超值课程：点击获取](https://www.sanzhishu.top/) ### UidGenerator是什么 UidGenerator是百度开源的一款分布式高性能的唯一ID生成器，更详细的情况可以查看[官网集成文档](https://github.com/baidu/uid-gener ......
分布式事务
2023.8.17 先假设我们有一个订单系统，收到请求之后，我们要干这几件事： 1.生成订单 2.清空购物车 3.生成积分 4.1号账户扣款 5.2号账户收款 收到请求的服务是A，最慢的办法，我们在这个请求的接口中串行的调用其他服务中的接口，有异常，或者设计好请求的返回（理想情况，都有可以拿到的返回 ......
分布式可视化 DAG 任务调度系统 Taier 的整体流程分析
Taier 作为[袋鼠云](https://www.dtstack.com/?src=szsm)的[开源项目](https://www.dtstack.com/?src=szsm)之一，是一个[分布式可视化的 DAG 任务调度系统](https://www.dtstack.com/?src=szsm ......
IM消息ID技术专题(七)：深度解密vivo的自研分布式ID服务(鲁班)
本文通过对分布式ID的3种应用场景、实现难点以及9种分布式ID的实现方式进行介绍，并对结合vivo业务场景特性下自研的鲁班分布式ID服务从系统架构、ID生成规则与部分实现源码进行分享，希望为本文的阅读者在分布式ID的方案选型或技术自研提供参考。 ......
什么是LAXCUS分布式操作系统？
对于LAXCUS分布式操作系统的特征特点，总有网友各种询问，在这里简要回答一下。 相较Linux、Windows，Laxcus是同时在多台计算机上运行的操作系统，处理大规模、高并发、高性能业务，其特点是资源共享和任务并行，并实现【数存算管】超融合一体化。环境中的资源：CPU、GPU、内存、硬盘、网络 ......
Jmeter 分布式压测
****jmeter 分布式1.windows 做控制机 controller，linux 做压测机 agent;2.复制一份 jmeter 工具包做slave/agent ，修改 jmeter 配置： jmeter.properties -> server_port=1099server.rmi. ......
分布式环境下的幂等控制
### 简介 接口的幂等性：相同的请求参数，多次请求结果一致。相同请求无论发起多少次，服务器只会处理一次，或者处理多次结果一样 ### 需要幂等的场景 查询接口 下单时防止重复请求 内部服务异常重试等等 ### 如何保证幂等 幂等首先是需要分辨出是否为重复请求。假如是简单的select查询，是天然的 ......
分布式版本控制系统（一）
# 分布式版本控制系统（一） [TOC] ##1、Git、Github、Gitlab 的区别 >- Git是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。git是一套软件，可 ......
基于Redis的分布式锁
在多线程的环境下，为了保证一个代码块在同一时间只能由一个线程访问，Java中我们一般可以使用synchronized语法和ReetrantLock去保证，这实际上是本地锁的方式。但是现在公司都是流行分布式架构，在分布式环境下，如何保证不同节点的线程同步执行呢？ 实际上，对于分布式场景，我们可以使用分 ......
大数据分布式存储
为什么需要分布式存储？ 数据量太大，单机存储能力有上限，需要靠数量来解决问题 数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果 1. 分布式系统常见的组织形式？ 去中心化模式：没有明确中心，大家协调工作 中心化模式：有明确的中心，基于中 ......
分布式坑
这三年被 本篇主要内容如下： 前言 我们都在讨论分布式，特别是面试的时候，不管是招初级软件工程师还是高级，都会要求懂分布式，甚至要求用过。传得沸沸扬扬的分布式到底是什么东东，有什么优势？ 借用火影忍术 看过火影的同学肯定知道漩涡鸣人的招牌忍术：多重影分身之术。 这个术有一个特别厉害的地方，过程和心得 ......
分布式事务的华丽进化
说到分布式事务，大家并不陌生。在实际工作中，用得比较多的还是柔性分布式事务，今天主要把在工作中运用到的几种柔性分布式事务的场景及实现方式做一个简单介绍，也可以看做是柔性分布式事务的一个演进过程。 ......
分布式事务解决方案-2PC, 3PC
在分布式系统中，每一个机器节点虽然都能明确的知道自己在事务操作中的结果是成功或失败，但无法直接获取其他节点的操作结果。因此在分布式环境中，为了保持事务的 ACID 特性，就需要增加一个“协调者”来管理其他节点（“参与者”）事务的提交和回滚。基于这个思想，衍生出二阶段提交 2PC 和三阶段提交 3PC ......
大数据之分布式
1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果 分布式计算：多台服务器协同工作，共同完成一个计算任务 2. 分布式计算常见的2种工作模式 分散->汇总 （MapReduce就是这种模式） 中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式） ......
Web自动化_分布式测试Grid入门
要在多台计算机上并⾏运⾏测试吗? 那么, Grid正是为你准备的。 分布式测试Grid环境： 1.需要JDK支持，最新的版本需要11版本，老版本的1.8selenium server jar包下载地址：https://github.com/SeleniumHQ/selenium/releases/t ......