分布式
分布式存储FusionStorage将搬迁走的计算节点踢出集群
1、登录Device Manager管理界面，在服务-vbs页面下，选中已经异常的VBS，将异常的VBS进行强制删除。 2、通过第三方远程连接工具，连接进FSM后台，IP为浮动IP，用fsadmin用户进入，切换到root用户。 fsadmin 默认密码：IaaS@OS-CLOUD9！ 2.1执行s ......
shell之ceph分布式存储OSD使用率监控实战脚本
ceph分布式存储集群中osd使用满了后，集群将无法提供存储服务，无法继续写入数据，只读。所以需要对osd使用率进行监控以便及时扩容或者迁移数据 ......
redis分布式锁
public static final String SET_NX_SCRIPT = "if redis.call('setnx', KEYS[1], ARGV[1]) == 1 then return redis.call('expire', KEYS[1], ARGV[2]) else retu ......
Redis实例应用(应用场景+分布式锁)
1.redis的实际使用实例 1.1 热点数据的实际缓存 缓存缓存，在实际应用中，我们通常会把查询数据次数高的数据放入到Redis中，以便减轻后方数据库的压力。 当缓存数据存入到Redis中，下次在访问相同的数据时，就不在直接操作数据库，直接从Redis中取缓存数据 【注：我们通常会把查询频率高的数 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
Seata解决分布式事务
### 简介 Seata 是阿里开源的一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 ### 初始化数据库 创建 seata 库，初始化脚本如下 ```sql -- The script used when storeMode is 'db' -- the table t ......
快速搭建 Seata Service 分布式事务
# 快速搭建 Seata Service 分布式事务 Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 [Seata官网](https://seata.io/zh-cn/index.html) [下载地址](https://seata.io/zh ......
分布式深度学习技术概述
分布式深度学习技术有哪些？ 分布式深度学习技术是指将深度学习模型的训练过程分布在多个计算资源上进行加速的技术。这样可以充分利用集群中的多个GPU、CPU或者多台计算机，加快深度学习模型的训练过程，提高训练效率。以下是一些常见的分布式深度学习技术： 数据并行：将训练数据划分成多个子集，每个计算节点使用 ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办 ......
TIDB - 分布式数据库
# TIDB（一） ## 重点 ### TIDB核心 - [x] 数据存储-RocksDB - [ ] Raft 协议 选举 数据同步 - [x] MVCC - [x] 表数据与kv映射关系 - [x] 索引数据与kv 映射关系 - [x] 元数据和sql 层计算 - [ ] PD调度 - [ ] ......
Netcore CAP分布式事务实践
Netcore CAP分布式事务实践 1、 分布式事务解决方案之可靠消息最终一致性 可靠消息最终一致性方案是指当事务发起方执行完成本地事务后并发出一条消息，事务参与方(消息消费者)一定能够接收消息并处理事务成功，此方案强调的是只要消息发给事务参与方最终事务要达到一致。 事务发起方（消息生产方）将消息 ......
redis分布式锁，setnx+lua脚本的java实现
本文是基于redis缓存实现分布式锁，其中使用了setnx命令加锁，expire命令设置过期时间并lua脚本保证事务一致性。Java实现部分基于JIMDB提供的接口。 ......
Kafka - 不仅是消息引擎，还是分布式流处理平台
如果你通读全篇文字但只能记住一句话，我希望你记住的就是这句 Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform） 作为流处理平台，Kafka 与其他主流大数据流式计算框架相比，优势在哪里呢？我能想到的有两点。 第一点是更容 ......
第十章 Seata--分布式事务
10.1 分布式事务基础 10.1.1 事务 事务指的就是一个操作单元，在这个操作单元中的所有操作最终要保持一致的行为，要么所有操作 都成功，要么所有的操作都被撤销。简单地说，事务提供一种“要么什么都不做，要么做全套”机制。 10.1.2 本地事物 本地事物其实可以认为是数据库提供的事务机制。说到数 ......
分布式锁
2023.8.27 1.zookeeper实现，基于临时节点实现——临时节点唯一 创建临时节点 关闭的时候调用close方法即可 2.zookeeper获取临时节点之后一直不关闭，也就是一直不释放锁怎么办 设定超时时间 3.羊群效应——比喻一个服务成功获取、释放节点时，其他需要锁的服务需要被唤醒、竞 ......
分布式数据库CAP原理
看完了阳哥的redis视频课，理解了MySQL和NoSQL的区别，下面来总结一下 传统的ACID分别是什么A (Atomicity) 原子性C (Consistency) 一致性I (Isolation) 独立性D (Durability) 持久性关系型数据库遵循ACID规则，事务在英文中是tran ......
分布式锁、分布式ID
# 分布式锁、分布式ID https://www.cnblogs.com/liuqingzheng/p/11080501.html ```python # 分布式系统中加锁-->悲观锁 -mysql 行锁 性能不高 -需要性能更高的分布式锁 # python 线程锁 # 分布式锁需要的条件 1、在分 ......
redis中的分布式锁
# Redis当中的分布式锁问题： ## 1.redis中key设置不当会造成的问题： 我们所熟知的redis中的三大问题：缓存穿透，缓存雪崩与缓存击穿。其中缓存击穿就是数据在某一时间点会被超高并发量的访问，如果在此时key恰好过期，那么所有的访问便会全部落到db上面，会带给数据库不小的压力，严重时 ......
分布式事务解决方案——Seata
## 分布式事务解决方案——Seata ### Seata是什么？ Seata是一款开源的==分布式事务==解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 ### Seata三大角色 在 ......
实现作业调度和任务分发的工具 - 分布式任务调度系统
分布式任务调度系统是一种用于实现作业调度和任务分发的工具，它能够帮助我们高效地处理大规模的任务，并将其分发到多台计算机节点上进行并行处理。本文将介绍分布式任务调度系统的基本概念、实现原理以及相关的技术细节。 ## 什么是分布式任务调度系统？ 分布式任务调度系统是指一种能够将任务分发到多个计算机节点上 ......
构建高效的日志收集和查询平台 - 分布式日志系统
随着互联网应用的快速发展，系统日志的重要性日益凸显。日志是系统运行中产生的各种信息的记录，通过分析和查询日志，我们可以了解系统的运行状况、排查问题以及优化系统性能。为了高效地收集和查询大规模的日志数据，分布式日志系统应运而生。 本文将介绍如何构建一个高效的分布式日志系统，包括日志收集和查询平台的设计 ......
保障数据的可靠性和持久性 - 高可用分布式存储系统的数据备份与恢复
在现代大规模分布式系统中，数据备份与恢复是确保数据可靠性和持久性的关键方面。本文将介绍高可用分布式存储系统中数据备份与恢复的重要性，以及实现高可用性和数据持久性的几种常见策略。此外，我们还将探讨一些关键技术，如数据冗余、故障检测和自动恢复等。 ## 引言 随着互联网规模的不断扩大，对数据的可靠性和持 ......
分布式
一、理论 1、CAP C:一致性：所有节点访问同一份最新的数据副本 A:可用性：非故障的节点在合理的时间内返回合理的响应，不是错误或者超时的响应 P:分区容错性：分布式系统在出现网络分区的时候，依然能够对外提供服务 网络分区：分布式系统中，多个节点之间的网络原本是联通的，但是由于某些故障导致某些节点 ......
分布式数据库
## 1.基于Redis分布式锁 1.获取锁时，使用setnx加锁（setnx key val 当且仅当key不存在时，set一个key为val的字符串，返回1；存在返回0；） 锁的value为随机的UUID，释放锁的时候进行判断，使用expire命令添加一个超时时间，超过该时间自动释放锁 2.释放 ......
架构：第五章：分布式架构的演进
单一应用架构 适用于小型网站，小型管理系统，将所有功能都部署到一个功能里，简单易用。 缺点： 1、性能扩展比较难 2、协同开发问题 3、不利于升级维护 垂直应用架构 通过切分业务来实现各个模块独立部署，降低了维护和部署的难度，团队各司其职更易管理，性能扩展也更方便，更有针对性。 缺点： 公用模块无法 ......
OpenHarmony 分布式硬件关键技术
本文转载自 OpenHarmony TSC 官方微信公众号《峰会回顾第8期 | OpenHarmony 分布式硬件关键技术》 演讲嘉宾 | 李 刚 回顾整理 | 廖 涛 排版校对 | 李萍萍 嘉宾简介 李刚，华为OpenHarmony技术专家，OpenHarmony分布式硬件技术负责人。主要负责Op ......
Kurator，你的分布式云原生解决方案
为大家介绍分布式云原生一站式开源解决方案Kurator，结合典型特性的实操演示，让开发者快速了解Kurator 在分布式云场景下的使用。 ......
c# .NET 高级编程 高并发必备技巧(二) - 分布式锁
上一篇文章简单的介绍了单机的情况下如何进行加锁，防止高并发带来的问题。 然而现实中，一般会高并发的应用，很少会单机部署。当用户量达到一定的程度，分布式、集群部署是必然的选择。在分布式部署的情况下，之前的单机锁还会有效吗？代码还是之前的代码： > private static object lck = ......
基于Redission的分布式锁
# 分布式锁的设计共分为3步 1. 定义注解 2. 对注解进行扫描 3. 使用注解 加锁核心逻辑为 RLock rLock = redissonClient.getLock(key); //是否加锁成功 boolean isLock = rLock.tryLock(timeOut, expireTi ......