分布式 事务 理论cap
RocketMQ - 顺序消息/事务消息/延迟消息
顺序消息 生产端顺序生产 消费端顺序消费 一般都是局部顺序消息。生产端根据 shardingkey 对队列数量取模，把同一个 shardingkey 的消息发送到同一个队列 而消费端也要确保消费这个队列时是一个线程消费的 首先是 consumer 中注册的 Listener 来指定是顺序消息消费还是 ......
深度学习框架 —— 分布式训练
现在深度学习的模型结构越来越大，参数动不动都是上亿甚至上千亿，这也对训练模型的资源量有很高的要求，显然单个机器上要训练这么大的网络是不现实的，因此学术界和工业界自然开始研究用分布式训练。也就是将一个机器学习模型任务拆分成多个子任务，并将子任务分发给多个计算节点，解决资源瓶颈。 # 1. 分布式训练概 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记29_控制层下
 # 1. 配置服务 ## 1.1. 配置服务本身就是分布式数据库 ### 1.1.1. 像ZooKeeper和et ......
【技术积累】Linux中的命令行【理论篇】【五】
博客推行版本更新，成果积累制度，已经写过的博客还会再次更新，不断地琢磨，高质量高数量都是要追求的，工匠精神是学习必不可少的精神。因此，大家有何建议欢迎在评论区踊跃发言，你们的支持是我最大的动力，你们敢投，我就敢肝 ......
Redis 之分布式锁的实现
## 引言 分布式锁大家应该不陌生，在很多大厂面试的时候，面试官们都很喜欢问这个问题。 我们在系统中修改已有数据时，需要先读取，然后进行修改保存，此时很容易遇到并发问题。由于修改和保存不是原子操作，在并发场景下，部分对数据的操作可能会丢失。在单服务器系统我们常用本地锁来避免并发带来的问题，然而，当服 ......
在分布式nvidia cuda-pytorch中同时使用MPI和NCCL会造成死锁——分布式pytorch的backend不能同时使用MPI和NCCL
参考原文： https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/mpi.html#inter-gpu-communication-with-cuda-aware-mpi 说实话，我不太认为有人在使用分布式pytorch的时候会同时开两个 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记28_控制层上
 # 1. 控制层囊括所有在后台运行的成功处理生产负载的软件和服务 ## 1.1. 处理用户生产数据的那些软件，就 ......
Redis理论基础
一、什么是Redis REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提 ......
【技术积累】Linux中的命令行【理论篇】【四】
博客推行版本更新，成果积累制度，已经写过的博客还会再次更新，不断地琢磨，高质量高数量都是要追求的，工匠精神是学习必不可少的精神。因此，大家有何建议欢迎在评论区踊跃发言，你们的支持是我最大的动力，你们敢投，我就敢肝 ......
Hadoop完全分布式集群安装
# Hadoop完全分布式集群安装 >使用版本: hadoop-3.2.0 ## 安装VMware 看一下这张图，图里面表示是三个节点，左边这一个是主节点，右边的两个是从节点，hadoop集群是支持主从架构的。 不同节点上面启动的进程默认是不一样的。  随机函数，用于生成指定范围内的随机数。 #### Math.random()函数 根据官方的定义: **Math.random()** 函数返回一个浮点数, 伪随机数在范围[0，1)，也就是说，从0（包括0）往上，但是不包括1（排除1）， ......
利用 docker 实现JMeter分布式压测
### 为什么需要分布式？ 在工作中经常需要对一些关键接口做高QPS的压测，JMeter是由Java 语言开发，没创建一个线程（虚拟用户），JVM默认会为每个线程分配1M的堆栈内存空间。受限于单台试压机的配置很难实现太高的并发。所以，通过JMeter实现分布式，可以整合多台主机的硬件资源，实现同时对 ......
pytest-xdist分布式测试原理浅析
pytest-xdist执行流程： 解析命令行参数：pytest-xdist 会解析命令行参数，获取用户指定的分发模式、进程数、主机列表等信息。 加载测试用例：pytest-xdist 会加载所有的 pytest 测试用例，包括在当前目录和子目录下的所有测试文件和测试函数。 分发测试用例：根据用户指 ......
微服务架构实战指南：分布式系统的设计与部署技巧
微服务架构实战指南：分布式系统的设计与部署技巧 分布式微服务架构是一种将大型应用程序划分为多个小型服务的设计方法。这种方法可以提高应用程序的可扩展性、灵活性和可靠性。以下是设计和实施分布式微服务架构时应考虑的关键要点和策略： 1、服务拆分和设计：首先需要对应用程序进行服务拆分，将其划分为小型服务。在 ......
如果用机器学习的理论来理解人的行为，会有什么发现？
以前有人问我“书读了很多之后，但是其中内容都忘记了，那么读书的价值何在呢？” 我说：“训练数据在训练完模型之后就可以删掉了，只要权值文件和网络结构保存好即可” 死记硬背是没有用的，因为死记硬背是一种过拟合的能力，而一个好的机器学习模型应该是泛化性能比较好的，所以好的教育应该是培养一个人举一反三的能力 ......
简述分布式链路追踪工具——Jaeger
1、简介 1.1 Jaeger是什么 Jaeger 是受到 Dapper 和 OpenZipkin 启发的由 Uber Technologies 作为开源发布的分布式跟踪系统，截止2023年8月3日最新稳定版本是1.47。其前端采用React语言实现，后端采用GO语 ......
mysql事务和索引详解
# mysql事务和索引详解 ## 1.事务 > 注：事务就是一组操作的集合，成功一起成功，失败一起失败 > > > > 事务控制： > > 1. 开启事务：start transaction; / begin; > 2. 提交事务：commit; > 3. 回滚事务：rollback; > > 使 ......
mysql事务怎么理解
事务是数据库管理系统中用于管理一组数据库操作的机制，它保证了这组操作要么全部成功执行，要么全部失败回滚，从而维护了数据库的一致性和完整性。 事务的特性通常由 ACID 缩写表示： 原子性（Atomicity）：事务是一个原子操作单元，要么全部执行成功，要么全部失败回滚。如果在事务执行过程中发生了错误 ......
集群与分布式
集群：多个人干同样一件事情 分布式：多个人干不同的事情，合起来时一件事情 两个人都是做饭，洗菜，切菜 所以他两个是一个集群 雇人洗菜，切菜，自己做饭，三个人共同干做饭一件事，这就是分布式 集群分布式系统的有点： ......
外键字段的增删改查,多表查询,正反向的概念,子查询,多表查询之连表查询(基于双下划线的查询),聚合查询(aggregate),分组查询annotate,F与Q查询,django中如何开启事务
#### 外键字段的增删改查 ```python # 多对多的外键增删改查 图书和作者是多对多，借助于第三张表实现的，如果想绑定图书和作者的关系，本质上就是在操作第三方表 # 如何操作第三张表 问题：让你给图书添加一个作者，他俩的关系可是多对多 # 多对多的增删该查 # 让你给图书id=2添加一个作 ......
分布式测试插件 pytest-xdist 使用详解
使用背景： 大型测试套件：当你的测试套件非常庞大，包含了大量的测试用例时，pytest-xdist可以通过并行执行来加速整体的测试过程。它利用多个进程或计算机的计算资源，可以显著减少测试执行的时间。 高计算资源需求：某些测试场景可能需要大量的计算资源，例如进行复杂的计算、模拟或数据处理。在这种情况下 ......
Java面试题 P44：框架篇：Spring- Spring事务失败的场景有哪些？
Spring事务失败的场景有哪些？ 1、异常捕获处理 2、抛出检查异常 3、非public方法 1、异常捕获处理 正常代码： 异常代码，执行后会执行事务，但是加了TryCatch后会出现事务失效。 模拟异常代码位置之上正常执行，并且事务会提交，被转账的用户代码不会执行，事务失效。 2、抛出检查异常 ......
RabbitMQ（五）延时队列及其在分布式事务的使用场景
### RabbitMQ（五）延时队列 延时队列的使用场景： - 未支付订单，超过一段时间后，系统自动取消订单并释放占有物品 - 锁定库存一段时间后，检查订单不存在或者被取消，则解锁库存 #### 1 定时任务存在的问题 如果使用Spring Schedule定时轮询数据库，则 - 消耗系统 ......