网格 分布式opentelemetry
locust：Python 分布式压力测试（带WebUI）
Locust 介绍 它采用纯 Python 实现，是一个分布式用户负载测试的工具。 使用基于 Requests 库的客户端发起请求，使编写脚本大大简化; 在模拟并发方面摒弃进程和线程，完全基于时间驱动，采用协程（gevent）提供的非阻塞 IO 和 coroutine 来实现网络层的并发请求。因此单 ......
探索语言的奥秘：我与英汉词性分布的碰撞
在我的语言学之旅中，我一直对比较英语和汉语的词性分布特别感兴趣。最近，我有了一个深入探讨这一题目的机会。下面是我对这一话题的深度探讨和个人见解。 #### 第一章：词性分布的奇妙世界 一天，我被一个看似简单但实则具有深度的问题吸引：“英语是不是比汉语更喜欢用名词？”这使我陷入了沉思。我首先想到的是寻 ......
从一台电脑怎么到的分布式架构？
从单台服务器到分布式服务器的演化过程 1.单台服务器 并发量过大就会出现各种问题 2.把服务器和数据库分离 我把应用和数据库分别部署到不同的服务器上，缓解了负载压力 3.应用服务器集群 出现的问题是： a.需要使用session和cookie维护用户： session用来跟踪用户状态，cookie用 ......
从高斯分布到信息矩阵
# 从高斯分布到信息矩阵 > 本文章的所有证明推导均为个人记录，如有错误欢迎指出，且所有均参考贺一家博士和高翔博士的相关证明，其他的部分参考文献也在文末给出。 [TOC] ## 1. SLAM 问题概率建模 考虑某个状态 $\boldsymbol{\xi}$ ，以及一次与该状态相关的观测 $\mat ......
《动手学深度学习 Pytorch版》 4.9 环境和分布偏移
# 4.9.1 分布偏移的类型 整节理论，详见书本。 # 4.9.2 分布偏移示例 整节理论，详见书本。 # 4.9.3 分布偏移纠正 整节理论，详见书本。 # 4.9.4 学习问题的分类法 整节理论，详见书本。 # 4.9.5 机器学习中的公平、责任和透明度 整节理论，详见书本。 # 练习 （1） ......
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc ......
分布式理论 - BASE
> BASE是“Basically Available, Soft state, Eventually consistent(基本可用、软状态、最终一致性)”的首字母缩写。其中的软状态和最终一致性这两种技巧擅于对付存在分区的场合，并因此提高了可用性。 # 什么是BASE > eBay 的架构师 Da ......
分布式理论 - CAP
> CAP理论是分布式系统、特别是分布式存储领域中被讨论的最多的理论。其中C代表一致性 (Consistency)，A代表可用性 (Availability)，P代表分区容错性 (Partition tolerance)。CAP理论告诉我们C、A、P三者不能同时满足，最多只能满足其中两个。 # CA ......
redis分布式锁幂等性问题
一.与Transcational注解同时使用 如果是自定义的切面，切面类要加@Order(Ordered.HIGHEST_PRECEDENCE)， 保证redis锁的切面在事务切面外面，让事务先提交，再释放redis锁。 二.日期字段是datetime 背景：jmeter 500并发测试接口出现重复 ......
4分布数据库系统
全局外模式 全局概念模式 分片模式 分布模式 局部概念模式 局部内模式 局部数据库 分布透明性 分片透明性：分不分片，用户感受不到：水平分片、垂直分片、混合分片 位置透明性：数据存放在哪里，用户不用管 局部数据模型透明性（逻辑透明）：用户不用关系局部数据模型 分布式数据库管理系统组成 LDBMS G ......
分布式锁
## 1.是什么 一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用并发处理相关的功能进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发 ......
使用 OpenTelemetry 构建 .NET 应用可观测性（2）：OpenTelemetry 项目简介
[TOC] # 前世今生 ## OpenTracing OpenTracing 项目启动于 2016 年，旨在提供一套分布式追踪标准，以便开发人员可以更轻松地实现分布式追踪。 OpenTracing 定义了一套 Tracing 模型，以及一套 API，用于在应用程序中创建和管理这些数据模型。 下面是 ......
2分布式数据库
与集中式数据库有区别 特点： 数据独立性：分布独立性，逻辑独立性物理独立性 集中与自治共享结合的控制结构：各局部的DBMS可以独立地管理局部数据库，具有自治的功能，同时，系统又设有集中控制机制，协调各局部DBMS的工作，执行全局应用 适当增加数据冗余度：在不同的场地存储同一数据的多个副本，可以提高系 ......
部署和使用单机版 FastDFS 分布式文件系统
我们工作中经常会有上传和下载文件的需求，早些年代我们一般会将上传的文件保存在网站所在的服务器上，但是现在一般网站都是负载均衡多服务器部署，因此必须要有独立的文件服务器才行。早些年代，如果有一台独立的文件服务器，一般会搭建 NFS 共享服务，给多个网站服务器之间使用。如果有多台文件服务器的话，各个服务 ......
Redis—分布式锁
# 单实例的正确实现方式 获取锁的正确操作为：` SET resource_name my_random_value NX PX 30000`，它限定了只有当锁空闲且持有锁的时间为30000ms，并且锁资源对应的 value 为一个随机值。设置随机值是为了在释放锁时，确保当前线程能够释放该锁，避免出 ......
【面试题精讲】Redis如何实现分布式锁
[首发博客地址](https://blog.zysicyj.top/) [系列文章地址](https://blog.zysicyj.top/categories/技术文章/后端技术/系列文章/面试题精讲/) Redis 可以使用分布式锁来实现多个进程或多个线程之间的并发控制，以确保在给定时间内只有一 ......
SequoiaDB分布式数据库2023.8月刊
本月看点速览 再获认可！巨杉数据库荣登多份Gartner研究报告 未来可期！广州市南沙区发改局局长杨帆一行莅临巨杉数据库 聚焦金融，巨杉数据库入选“2023 IDC中国FinTech 50” 专注创新，荣获2023胡润中国元宇宙潜力企业未来之星 再获认可！巨杉数据库荣登多份Gartner研究报告 近 ......
分布式架构
[TOC] # 认识微服务 单体架构：将业务的所有功能集中在一个项目中开发，打成一个包部署 特点：简单方便、高度耦合、扩展性差，适合小型项目。例如：学生管理系统 ![](https://img2023.cnblogs.com/blog/2688333/202309/2688333-202309021 ......
分布式存储FusionStorage将搬迁走的计算节点踢出集群
1、登录Device Manager管理界面，在服务-vbs页面下，选中已经异常的VBS，将异常的VBS进行强制删除。 2、通过第三方远程连接工具，连接进FSM后台，IP为浮动IP，用fsadmin用户进入，切换到root用户。 fsadmin 默认密码：IaaS@OS-CLOUD9！ 2.1执行s ......
shell之ceph分布式存储OSD使用率监控实战脚本
ceph分布式存储集群中osd使用满了后，集群将无法提供存储服务，无法继续写入数据，只读。所以需要对osd使用率进行监控以便及时扩容或者迁移数据 ......
redis分布式锁
public static final String SET_NX_SCRIPT = "if redis.call('setnx', KEYS[1], ARGV[1]) == 1 then return redis.call('expire', KEYS[1], ARGV[2]) else retu ......
Redis实例应用(应用场景+分布式锁)
1.redis的实际使用实例 1.1 热点数据的实际缓存 缓存缓存，在实际应用中，我们通常会把查询数据次数高的数据放入到Redis中，以便减轻后方数据库的压力。 当缓存数据存入到Redis中，下次在访问相同的数据时，就不在直接操作数据库，直接从Redis中取缓存数据 【注：我们通常会把查询频率高的数 ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
Seata解决分布式事务
### 简介 Seata 是阿里开源的一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 ### 初始化数据库 创建 seata 库，初始化脚本如下 ```sql -- The script used when storeMode is 'db' -- the table t ......
【HarmonyOS】一文教你如何使用低代码平台网格布局动态加载数据
【关键字】 低代码平台、AGC、API6、网格布局、数据模型 【写在前面】 正式开工之前，先来说一下今天要实现的内容，今天会实现一个网格布局的展示，我会创建一个数据模型，然后网格列表的数据从数据模型中获取，从而实现一个动态展示的效果。 在实现之前，先来简单说一下什么是数据模型？ 在使用低代码平台时我 ......
快速搭建 Seata Service 分布式事务
# 快速搭建 Seata Service 分布式事务 Seata 是一款开源的分布式事务解决方案，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 [Seata官网](https://seata.io/zh-cn/index.html) [下载地址](https://seata.io/zh ......
分布式深度学习技术概述
分布式深度学习技术有哪些？ 分布式深度学习技术是指将深度学习模型的训练过程分布在多个计算资源上进行加速的技术。这样可以充分利用集群中的多个GPU、CPU或者多台计算机，加快深度学习模型的训练过程，提高训练效率。以下是一些常见的分布式深度学习技术： 数据并行：将训练数据划分成多个子集，每个计算节点使用 ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办 ......