分布式 武器 事务
《动手学深度学习 Pytorch版》 4.9 环境和分布偏移
# 4.9.1 分布偏移的类型 整节理论，详见书本。 # 4.9.2 分布偏移示例 整节理论，详见书本。 # 4.9.3 分布偏移纠正 整节理论，详见书本。 # 4.9.4 学习问题的分类法 整节理论，详见书本。 # 4.9.5 机器学习中的公平、责任和透明度 整节理论，详见书本。 # 练习 （1） ......
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc ......
事务理论 - ACID
> 事务的四个基本特性: Atomicity（原子性）：事务是一个不可分割的整体，事务内所有操作要么全做成功，要么全失败。Consistency（一致性）：务执行前后，数据从一个状态到另一个状态必须是一致的（A向B转账，不能出现A扣了钱，B却没收到）。Isolation（隔离性）： 多个并发事务之间 ......
分布式理论 - BASE
> BASE是“Basically Available, Soft state, Eventually consistent(基本可用、软状态、最终一致性)”的首字母缩写。其中的软状态和最终一致性这两种技巧擅于对付存在分区的场合，并因此提高了可用性。 # 什么是BASE > eBay 的架构师 Da ......
分布式理论 - CAP
> CAP理论是分布式系统、特别是分布式存储领域中被讨论的最多的理论。其中C代表一致性 (Consistency)，A代表可用性 (Availability)，P代表分区容错性 (Partition tolerance)。CAP理论告诉我们C、A、P三者不能同时满足，最多只能满足其中两个。 # CA ......
redis分布式锁幂等性问题
一.与Transcational注解同时使用 如果是自定义的切面，切面类要加@Order(Ordered.HIGHEST_PRECEDENCE)， 保证redis锁的切面在事务切面外面，让事务先提交，再释放redis锁。 二.日期字段是datetime 背景：jmeter 500并发测试接口出现重复 ......
4分布数据库系统
全局外模式 全局概念模式 分片模式 分布模式 局部概念模式 局部内模式 局部数据库 分布透明性 分片透明性：分不分片，用户感受不到：水平分片、垂直分片、混合分片 位置透明性：数据存放在哪里，用户不用管 局部数据模型透明性（逻辑透明）：用户不用关系局部数据模型 分布式数据库管理系统组成 LDBMS G ......
分布式锁
## 1.是什么 一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用并发处理相关的功能进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发 ......
MYSQL数据库 索引、事务
索引 定义： 索引是对数据库表中一列或多列的值进行排序的一种结构（类似书的目录）。MySQL索引的建立对于MySQL的高效运行是很重要的，索引可以大大提高MySQL的检索速度 索引的优点： 通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。 可以大大加快数据的检索速度，这也是创建索引的最主要 ......
2分布式数据库
与集中式数据库有区别 特点： 数据独立性：分布独立性，逻辑独立性物理独立性 集中与自治共享结合的控制结构：各局部的DBMS可以独立地管理局部数据库，具有自治的功能，同时，系统又设有集中控制机制，协调各局部DBMS的工作，执行全局应用 适当增加数据冗余度：在不同的场地存储同一数据的多个副本，可以提高系 ......
15、Spring之基于xml的声明式事务
> 阅读本文前，建议先阅读[Spring之基于注解的声明式事务](https://www.cnblogs.com/Javaer1995/p/17653199.html "Spring之基于注解的声明式事务") ## 15.1、环境搭建 > 创建名为spring_transaction_xml的新mo ......
部署和使用单机版 FastDFS 分布式文件系统
我们工作中经常会有上传和下载文件的需求，早些年代我们一般会将上传的文件保存在网站所在的服务器上，但是现在一般网站都是负载均衡多服务器部署，因此必须要有独立的文件服务器才行。早些年代，如果有一台独立的文件服务器，一般会搭建 NFS 共享服务，给多个网站服务器之间使用。如果有多台文件服务器的话，各个服务 ......
MySQL的优化，三大范式和事务的四大特性
##### 优化 - 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 - 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描 - 3.应尽量避免在 where 子句中使用not in ......
Redis—分布式锁
# 单实例的正确实现方式 获取锁的正确操作为：` SET resource_name my_random_value NX PX 30000`，它限定了只有当锁空闲且持有锁的时间为30000ms，并且锁资源对应的 value 为一个随机值。设置随机值是为了在释放锁时，确保当前线程能够释放该锁，避免出 ......
读SQL学习指南（第3版）笔记09_条件逻辑与事务
 # 1. 条件逻辑 ## 1.1. SQL逻辑根据特定列或表达式转向不同的分支来处理 ## 1.2. 在程序执行 ......
【面试题精讲】Redis如何实现分布式锁
[首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文章/后端技术/系列文章/面试题精讲/) Redis 可以使用分布式锁来实现多个进程或多个线程之间的并发控制，以确保在给定时间内只有一 ......
SequoiaDB分布式数据库2023.8月刊
本月看点速览 再获认可！巨杉数据库荣登多份Gartner研究报告 未来可期！广州市南沙区发改局局长杨帆一行莅临巨杉数据库 聚焦金融，巨杉数据库入选“2023 IDC中国FinTech 50” 专注创新，荣获2023胡润中国元宇宙潜力企业未来之星 再获认可！巨杉数据库荣登多份Gartner研究报告 近 ......
分布式架构
[TOC] # 认识微服务 单体架构：将业务的所有功能集中在一个项目中开发，打成一个包部署 特点：简单方便、高度耦合、扩展性差，适合小型项目。例如：学生管理系统 
Redis高级数据结构HyperLogLog HyperLogLog(Hyper[ˈhaɪpə(r)])并不是一种新的数据结构(实际类型为字符串类型)，而是一种基数算法,通过HyperLogLog可以利用极小的内存空间完成独立总数的统计，数据集可以是IP、Email、ID等。 如果你负责开发维护一个 ......
分布式存储FusionStorage将搬迁走的计算节点踢出集群
1、登录Device Manager管理界面，在服务-vbs页面下，选中已经异常的VBS，将异常的VBS进行强制删除。 2、通过第三方远程连接工具，连接进FSM后台，IP为浮动IP，用fsadmin用户进入，切换到root用户。 fsadmin 默认密码：IaaS@OS-CLOUD9！ 2.1执行s ......
shell之ceph分布式存储OSD使用率监控实战脚本
ceph分布式存储集群中osd使用满了后，集群将无法提供存储服务，无法继续写入数据，只读。所以需要对osd使用率进行监控以便及时扩容或者迁移数据 ......
redis分布式锁
public static final String SET_NX_SCRIPT = "if redis.call('setnx', KEYS[1], ARGV[1]) == 1 then return redis.call('expire', KEYS[1], ARGV[2]) else retu ......
Redis实例应用(应用场景+分布式锁)
1.redis的实际使用实例 1.1 热点数据的实际缓存 缓存缓存，在实际应用中，我们通常会把查询数据次数高的数据放入到Redis中，以便减轻后方数据库的压力。 当缓存数据存入到Redis中，下次在访问相同的数据时，就不在直接操作数据库，直接从Redis中取缓存数据 【注：我们通常会把查询频率高的数 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
14、Spring之基于注解的声明式事务
## 14.1、概述 ### 14.1.1、编程式事务 > 事务功能的相关操作全部通过自己编写代码来实现： ``` Connection conn = ...; try { // 开启事务：关闭事务的自动提交 conn.setAutoCommit(false); // 核心操作 // 提交事务 co ......
Mysql基础9-事务
一、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有操作作为一个整体一起向系统提交或者撤销操作请求，即这些操作要么同时成功，要么同时失败。mysql的事务默认是自动提交的，也就是说，当执行一条DML语句，Mysql会立即隐式的提交事务 二、事务操作 2.1 查看事务提交方式 ......
Seata解决分布式事务
### 简介 Seata 是阿里开源的一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 ### 初始化数据库 创建 seata 库，初始化脚本如下 ```sql -- The script used when storeMode is 'db' -- the table t ......