分布式 理论
分布式-八股文
CAP理论与BASE理论-√ ``` CAP: consistent && avaliable && partition tolerance 一致性:整个系统的数据状态应该是一致的,不存在逻辑矛盾的 可用性:整个系统应该保证是可用的 分区容错性:整个系统应当有容灾性能,有哪个节点失效或者哪个服务挂掉 ......
分布式ID|从源码角度深度解析美团Leaf双Buffer优化方案
分布式ID的使用场景 基于MySql的初步方案 第一次优化:Leaf-segment数据库方案 第二次优化:Leaf-segment 双buffer优化 源码解析双buffer优化方案 背景 在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等 ......
Springcloud2021+Nacos2.2+Dubbo3+Seata1.6实现分布式事务
> 示例代码地址:https://gitee.com/gtnotgod/Springcloud-alibaba.git 更详细参考Gitee完整的项目:https://gitee.com/gtnotgod/Springcloud-alibaba.git # 官网下载Nacos > https://n ......
09-分布式缓存
## 一、使用分布式缓存Redis ### (一)分布式缓存和Redis 1、多级缓存 在一个简单的请求链路中,会经过Nginx、Redis、Tomcat、数据库,其中Nginx、Redis、Tomcat都有缓存存在,这也是常说的多级缓存。 2、缓存的作用与应用场景 使用缓存主要 ......
基于Redis的分布式锁实现方案
本文介绍基于Redis LUA脚本实现分布式锁的具体方案。为了便于在微服务架构的项目中使用,方案以注解切面的方式实现,可单独提炼项目打成jar包。 一、注解 核心注解有两个CacheLock和CacheParam。 @Target(ElementType.METHOD) @Retention(Ret ......
python下使用redis分布式锁
# python下使用redis分布式锁 ### 1.什么场景需要分布式锁? 我们在写业务逻辑的时候,如果多个线程同时访问某个共享变量,一般是对变量进行上锁或者使用 queue.Queue() 实现,以做到线程安全保证数据不被污染。 在单机部署的情况下这样做完全没问题,但是随着业务规模的发展,某些单 ......
读发布!设计与部署稳定的分布式系统(第2版)笔记21_实例层之配置
只要将配置信息存放在与源代码不同的存储库中,将其锁好,仅对有权访问的人开放,并且管理员能够根据过程、程序和执行人等授予或撤销对相关配置信息的访问权限,那么配置信息也可以存放在版本控制系统中 ......
Redis实战(黑马点评--分布式锁)
基本原理和不同的实现方式 分布式锁的核心思想就是让大家共用同一把锁,那么我们就能锁住线程,不让线程进行,让程序串行执行,这就是分布式锁的核心思路 可见性:多个线程都能看到相同的结果。 注意:这里说的可见性并不是并发编程中指的内存可见性,只是说多个进程之间都能感知到变化的意思 互斥:互斥是分布式锁的最 ......
Apache Pulsar 分布式部署
#1.Pulsar 简介 Pulsar 是一个支持多租户的、高性能的消息中间件;最初是由 Yahoo 研发的开源,分布式pub-sub系统,现在是Apache的一个顶级开源项目 Pulsar 提供了四种订阅类型,它们可以共存在同一个主题上,以订阅名进行区分: - 独享(exclusive)订阅——一 ......
HBase 分布式部署(进阶中级)
## 1. HBase 分布式部署(进阶中级) #### 1. 实验任务一:部署前期准备 ##### 1.1. 步骤一:安装部署 hadoop ha 分布式环境 ##### 1.2. 步骤二:解压安装文件 ~~~bash [root@master ~]# cd [root@master ~]# ls ......
记一次.Net分布式事务死锁现象以及解决方法
在本文中,将介绍一次遇到的.Net分布式事务死锁现象以及解决方法。我们将首先了解事务框架的构成,然后分析导致死锁的代码,最后提出解决方法。 # 事务框架 本次开发框架JMSFramework将分布式事务划分为4个阶段,分别是:执行、确认、提交和重试。 1、执行 调用微服务来执行相关的业务操作。如果其 ......
读发布!设计与部署稳定的分布式系统(第2版)笔记20_实例层之代码
![](https://img2023.cnblogs.com/blog/3076680/202307/3076680-20230704144741811-1382373830.png) # 1. 术语的定义 ## 1.1. 服务 ### 1.1.1. 指共同协作、以单元的形式对外提供功能的跨机器进 ......
淘宝技术三面题目:分布式架构+红黑树+SpringMVC+设计模式
淘宝一面 Java容器有哪些?哪些是同步容器,哪些是并发容器? ArrayList和LinkedList的插入和访问的时间复杂度? java反射原理, 注解原理? 新生代分为几个区?使用什么算法进行垃圾回收?为什么使用这个算法? HashMap在什么情况下会扩容,或者有哪些操作会导致扩容? Hash ......
JAVA微服务分布式事务的几种实现方式
# 基础理论 ## CAP理论 一致性(Consistency) :在分布式系统中所有的数据备份,在同一时刻都保持一致状态,如无法保证状态一致,直接返回错误; 可用性(Availability):在集群中一部分节点故障,也能保证客户端访问系统并得到正确响应,允许一定时间内数据状态不一致; 分区容错性 ......
并发扣减库存不使用分布式锁用幂等性怎么实现
扣减库存接口 /** * Notes:修改或删除库存信息 复核提交,移位完成,调拨完成 后触发 * 原始库位扣减操作 * User: sl * Date: 2023-04-11 17:31 * @param $data * @param $type 1,复核完成 2调拨出库完成后扣减 3,源库位移位 ......
HDFS集群搭建:完全分布式
本文介绍了HDFS集群中单点故障:HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
分布式锁
# zk分布式锁 海豚调度通过zk来做分布式锁,保证同一个时刻只有一台Master的scheduler来执行 或者只有一台worker执行任务的提交 ## 1.zk分布式锁核心流程算法 ![image](https://img2023.cnblogs.com/blog/680792/202307/6 ......
分布式锁解决集群下的方法抢占执行
问题描述: 启动两台heima-leadnews-schedule服务,每台服务都会去执行refresh定时任务方法 分布式锁:控制分布式系统有序的去对共享资源进行操作,通过互斥来保证数据的一致性。 分布式锁的解决方案: sexnx (SET if Not eXists) 命令在指定的 key 不存 ......
数据仓库MPP架构&分布式架构
数据仓库MPP架构&分布式架构 一、MPP架构 1.1MPP架构概述 MPP(Massively Parallel Processing)架构是一种分布式数据处理技术,能够通过将工作负载分散到多个节点上来提高数据处理性能。与传统的共享架构不同,MPP采用非共享架构(Share Nothing),将单 ......
分布式锁
1 mysql唯一键 2 redis lua脚本保证原子性 setnx expire 看门狗保证执行的时间大于锁的时间 为了避免其他人误删除 值和对应的用户一一对应 保证唯一 比如值为uid 3 redisson 4 redis多台奇数master 超过一般就获取锁成功 5 zk 参考 https: ......
分布式数据库 Join 查询设计与实现浅析
相对于单例数据库的查询操作,分布式数据查询会有很多技术难题。本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路,了解分布式场景数据处理的设计方案。
文章从常用的关系型数据库 MySQL 的分库分表Join 分析,再到非关系型 ElasticSearch 来分析... ......
6.29 celery分布式异步任务框架
1.celery:分步式异步任务框架 /1 异步任务 /2 延迟任务 /3 定时任务 /4 celery架构 消息中间件(broker):消息队列:可以使用redis,rabbitmq 任务执行单元(worker):执行单元 执行提交的任务 任务执行结果存储(banckend):可以使用mysql, ......
分布式事务实践-seata
Seata 是一款开源的分布式事务解决方案,致力于提供高性能和简单易用的分布式事务服务。 Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式,为用户打造一站式的分布式解决方案。 官网:https://seata.io/zh-cn/docs/overview/what-is-sea ......
读发布!设计与部署稳定的分布式系统(第2版)笔记19_基础层之设备
![](https://img2023.cnblogs.com/blog/3076680/202307/3076680-20230703164452820-448646113.png) # 1. 物理主机 ## 1.1. 以前数据中心硬件就是建立在单个物理机器的高可靠性上的 ## 1.2. 如今通过 ......
基于Redis分布式缓存
1.安装包 使用Redis分布式缓存需要安装Redis的支持包,可以通过nuget命令安装,如下: install-package Microsoft.Extensions.Caching.StackExchangeRedis 2.在Program.cs文件中注册 builder.Services. ......
NLP | 数据集独立同分布的理解
在自然语言处理(NLP)中,**独立同分布是指一个数据集中的样本是从同一个总体分布中独立采样而来的**。这意味着数据集中的**每个样本都具有相同的概率分布**,并且这些样本之间是相互独立的,即**一个样本的出现不会影响其他样本的出现**。 例如,如果我们收集了一组用于训练文本分类器的新闻文章,并且这 ......
分布式事务的几种实现方式
## 基础理论 ### CAP理论 一致性(Consistency) :在分布式系统中所有的数据备份,在同一时刻都保持一致状态,如无法保证状态一致,直接返回错误; 可用性(Availability):在集群中一部分节点故障,也能保证客户端访问系统并得到正确响应,允许一定时间内数据状态不一致; 分区容 ......
中小型系统必要可行的性能测试实践--性能测试理论基础
一、开发人员掌握性能测试的必要性 一说起测试,大部分想到的是业务功能测试。其实功能测试只是测试的一部分,另外还有性能测试、自动化测试、全链路测试、安全测试,不同规模、不同业务类型的的公司各有选择。自动化测试借助自动化工具代替人工按照预设条件进行测试,也可用于持续集成(比如和jenkins整合),目的 ......