分布式redisson
2分布式数据库
与集中式数据库有区别 特点： 数据独立性：分布独立性，逻辑独立性物理独立性 集中与自治共享结合的控制结构：各局部的DBMS可以独立地管理局部数据库，具有自治的功能，同时，系统又设有集中控制机制，协调各局部DBMS的工作，执行全局应用 适当增加数据冗余度：在不同的场地存储同一数据的多个副本，可以提高系 ......
部署和使用单机版 FastDFS 分布式文件系统
我们工作中经常会有上传和下载文件的需求，早些年代我们一般会将上传的文件保存在网站所在的服务器上，但是现在一般网站都是负载均衡多服务器部署，因此必须要有独立的文件服务器才行。早些年代，如果有一台独立的文件服务器，一般会搭建 NFS 共享服务，给多个网站服务器之间使用。如果有多台文件服务器的话，各个服务 ......
Redis—分布式锁
# 单实例的正确实现方式 获取锁的正确操作为：` SET resource_name my_random_value NX PX 30000`，它限定了只有当锁空闲且持有锁的时间为30000ms，并且锁资源对应的 value 为一个随机值。设置随机值是为了在释放锁时，确保当前线程能够释放该锁，避免出 ......
【面试题精讲】Redis如何实现分布式锁
[首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文章/后端技术/系列文章/面试题精讲/) Redis 可以使用分布式锁来实现多个进程或多个线程之间的并发控制，以确保在给定时间内只有一 ......
SequoiaDB分布式数据库2023.8月刊
本月看点速览 再获认可！巨杉数据库荣登多份Gartner研究报告 未来可期！广州市南沙区发改局局长杨帆一行莅临巨杉数据库 聚焦金融，巨杉数据库入选“2023 IDC中国FinTech 50” 专注创新，荣获2023胡润中国元宇宙潜力企业未来之星 再获认可！巨杉数据库荣登多份Gartner研究报告 近 ......
分布式架构
[TOC] # 认识微服务 单体架构：将业务的所有功能集中在一个项目中开发，打成一个包部署 特点：简单方便、高度耦合、扩展性差，适合小型项目。例如：学生管理系统 ![](https://img2023.cnblogs.com/blog/2688333/202309/2688333-202309021 ......
分布式存储FusionStorage将搬迁走的计算节点踢出集群
1、登录Device Manager管理界面，在服务-vbs页面下，选中已经异常的VBS，将异常的VBS进行强制删除。 2、通过第三方远程连接工具，连接进FSM后台，IP为浮动IP，用fsadmin用户进入，切换到root用户。 fsadmin 默认密码：IaaS@OS-CLOUD9！ 2.1执行s ......
shell之ceph分布式存储OSD使用率监控实战脚本
ceph分布式存储集群中osd使用满了后，集群将无法提供存储服务，无法继续写入数据，只读。所以需要对osd使用率进行监控以便及时扩容或者迁移数据 ......
redis分布式锁
public static final String SET_NX_SCRIPT = "if redis.call('setnx', KEYS[1], ARGV[1]) == 1 then return redis.call('expire', KEYS[1], ARGV[2]) else retu ......
Redis实例应用(应用场景+分布式锁)
1.redis的实际使用实例 1.1 热点数据的实际缓存 缓存缓存，在实际应用中，我们通常会把查询数据次数高的数据放入到Redis中，以便减轻后方数据库的压力。 当缓存数据存入到Redis中，下次在访问相同的数据时，就不在直接操作数据库，直接从Redis中取缓存数据 【注：我们通常会把查询频率高的数 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
Seata解决分布式事务
### 简介 Seata 是阿里开源的一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 ### 初始化数据库 创建 seata 库，初始化脚本如下 ```sql -- The script used when storeMode is 'db' -- the table t ......
快速搭建 Seata Service 分布式事务
# 快速搭建 Seata Service 分布式事务 Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 [Seata官网](https://seata.io/zh-cn/index.html) [下载地址](https://seata.io/zh ......
分布式深度学习技术概述
分布式深度学习技术有哪些？ 分布式深度学习技术是指将深度学习模型的训练过程分布在多个计算资源上进行加速的技术。这样可以充分利用集群中的多个GPU、CPU或者多台计算机，加快深度学习模型的训练过程，提高训练效率。以下是一些常见的分布式深度学习技术： 数据并行：将训练数据划分成多个子集，每个计算节点使用 ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办 ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
TIDB - 分布式数据库
# TIDB（一） ## 重点 ### TIDB核心 - [x] 数据存储-RocksDB - [ ] Raft 协议 选举 数据同步 - [x] MVCC - [x] 表数据与kv映射关系 - [x] 索引数据与kv 映射关系 - [x] 元数据和sql 层计算 - [ ] PD调度 - [ ] ......
Netcore CAP分布式事务实践
Netcore CAP分布式事务实践 1、 分布式事务解决方案之可靠消息最终一致性 可靠消息最终一致性方案是指当事务发起方执行完成本地事务后并发出一条消息，事务参与方(消息消费者)一定能够接收消息并处理事务成功，此方案强调的是只要消息发给事务参与方最终事务要达到一致。 事务发起方（消息生产方）将消息 ......
redis分布式锁，setnx+lua脚本的java实现
本文是基于redis缓存实现分布式锁，其中使用了setnx命令加锁，expire命令设置过期时间并lua脚本保证事务一致性。Java实现部分基于JIMDB提供的接口。 ......
Kafka - 不仅是消息引擎，还是分布式流处理平台
如果你通读全篇文字但只能记住一句话，我希望你记住的就是这句 Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform） 作为流处理平台，Kafka 与其他主流大数据流式计算框架相比，优势在哪里呢？我能想到的有两点。 第一点是更容 ......
第十章 Seata--分布式事务
10.1 分布式事务基础 10.1.1 事务 事务指的就是一个操作单元，在这个操作单元中的所有操作最终要保持一致的行为，要么所有操作 都成功，要么所有的操作都被撤销。简单地说，事务提供一种“要么什么都不做，要么做全套”机制。 10.1.2 本地事物 本地事物其实可以认为是数据库提供的事务机制。说到数 ......
TDSQL-PG 数据重分布
记录一次数据重分布造成的数据库抖动。 何为数据重分布: select * from t1,t2 where t1.id1=t2.id2; 若id1,id2都为分片键,在做算子下推到dn时，由于分片键是hash算法，所以id1，id2相同的值都在同一个dn上。每个dn可以独立完成数据过滤。dn计算的数 ......
Redisson幂等校验例子
在添加接口增加幂等校验, 防止用户在短时间内重复调用添加接口import org.apache.commons.lang3.ArrayUtils;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.annotation.Aspect;i ......
分布式锁
2023.8.27 1.zookeeper实现，基于临时节点实现——临时节点唯一 创建临时节点 关闭的时候调用close方法即可 2.zookeeper获取临时节点之后一直不关闭，也就是一直不释放锁怎么办 设定超时时间 3.羊群效应——比喻一个服务成功获取、释放节点时，其他需要锁的服务需要被唤醒、竞 ......
分布式数据库CAP原理
看完了阳哥的redis视频课，理解了MySQL和NoSQL的区别，下面来总结一下 传统的ACID分别是什么A (Atomicity) 原子性C (Consistency) 一致性I (Isolation) 独立性D (Durability) 持久性关系型数据库遵循ACID规则，事务在英文中是tran ......
分布式锁、分布式ID
# 分布式锁、分布式ID https://www.cnblogs.com/liuqingzheng/p/11080501.html ```python # 分布式系统中加锁-->悲观锁 -mysql 行锁 性能不高 -需要性能更高的分布式锁 # python 线程锁 # 分布式锁需要的条件 1、在分 ......
redis中的分布式锁
# Redis当中的分布式锁问题： ## 1.redis中key设置不当会造成的问题： 我们所熟知的redis中的三大问题：缓存穿透，缓存雪崩与缓存击穿。其中缓存击穿就是数据在某一时间点会被超高并发量的访问，如果在此时key恰好过期，那么所有的访问便会全部落到db上面，会带给数据库不小的压力，严重时 ......
分布式事务解决方案——Seata
## 分布式事务解决方案——Seata ### Seata是什么？ Seata是一款开源的==分布式事务==解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 ### Seata三大角色 在 ......
实现作业调度和任务分发的工具 - 分布式任务调度系统
分布式任务调度系统是一种用于实现作业调度和任务分发的工具，它能够帮助我们高效地处理大规模的任务，并将其分发到多台计算机节点上进行并行处理。本文将介绍分布式任务调度系统的基本概念、实现原理以及相关的技术细节。 ## 什么是分布式任务调度系统？ 分布式任务调度系统是指一种能够将任务分发到多个计算机节点上 ......