分布式
P2P网络下分布式文件共享场景的测试
P2P网络介绍 P2P是Peer-to-Peer的缩写，“Peer”在英语里有“对等者、伙伴、对端”的意义。因此，从字面意思来看，P2P可以理解为对等网络。国内一些媒体将P2P翻译成“点对点”或者“端对端”，学术界则统一称为对等网络(Peer-to-Peer networking)或对等计算(Pee ......
第三章 分布式配置中心
1. 简介 为什么需要分布式配置中心 分布式配置中心是为了解决在分布式系统中进行配置管理的需求而引入的。在传统的单体应用中，通常使用配置文件集中管理系统的配置信息。然而，在分布式系统中，由于系统规模变大、节点众多，并且可能部署在不同的服务器上，传统的配置文件方式会面临一些挑战。 首先，配置文件的修改 ......
使用分布式锁实现定时任务的精确调度
使用分布式锁实现定时任务的精确调度 在分布式系统中，实现定时任务的精确调度是一项具有挑战性的任务。由于分布式环境中存在多个节点，传统的定时任务可能会出现并发执行、重复执行或者错过执行的问题。为了解决这些问题，我们可以使用分布式锁来实现定时任务的精确调度。 准备工作 在开始之前，我们需要准备以下环境和 ......
MongoDB中的分布式集群架构
MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......
Windows电脑上的多开工具与分布式计算的关系
在Windows电脑上，多开工具和分布式计算之间存在着一定的关系。多开工具是一类软件，可以帮助用户在一台电脑上同时打开多个相同或不同的应用程序实例，从而提高工作效率。而分布式计算则是利用多台计算机的闲置资源来共同完成复杂的计算任务，通过将任务分发到各个计算节点上并将计算结果汇总，从而加快计算速度和提 ......
Redis分布式锁的扩展方法
分布式锁代码 #region 秒杀业务测试 private static readonly string redisConnectionStr = "127.0.0.1:6379,connectTimeout=5000,allowAdmin=false,defaultDatabase=1"; /// ......
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。它基于以下几个核心思想： 数据分散：将数据切分成多个块或对象，并将它们存储在不同的节点上。这样可以避免单点故障，提高系统的可靠性。 冗余备份：为了保证数据的可靠性，每个数据块通常会有 ......
SpringCloud Seata【解决分布式事务的问题】安装
SpringCloud Seata【解决分布式事务的问题】安装 1. 问题引出 1.1 单机单库（多表）处理事务示意图 1.2 分布式微服务架构下的数据库事务示意图 图片梳理：用户购买商品的业务逻辑。整个业务逻辑由3个微服务提供支持： 仓库服务：对给定商品 扣除商品数量 订单服务：根据采购需求创建订 ......
.net core 分布式锁 之 基于 Redis 的 RedLock
使用场景 分布式锁的业务场景涉及到并发控制、任务调度、缓存更新、分布式事务和防止重复操作等方面，能够保证分布式系统的数据一致性和正确性。 并发控制：当多个线程或进程同时访问共享资源时，使用分布式锁可以确保只有一个线程或进程能够访问该资源，避免数据竞争和并发冲突。 分布式任务调度：在分布式系统中，多个 ......
探索服务网格与 OpenTelemetry 的协同之分布式跟踪
在上一篇文章中，介绍了 如何在 k8s 中无侵入安装 Otel 探针 并实现了无侵入（某些语言还无法实现，比如 Go 的 eBPF 对内核的苛刻要求）的分布式跟踪。 这篇文章发出后有读者评论 javaagent 的“无侵入”一说，这里有必要解释下。“无侵入”主要指的是不需要修改应用程序的业务逻辑代码 ......
Spring Cloud Seata系列：基于AT模式实现分布式事务
目录前提Seata的AT模型流程梳理一阶段：二阶段-回滚二阶段-提交脏写问题写隔离读隔离优缺点AT与XA的区别实现AT模式 https://seata.io/zh-cn/docs/dev/mode/at-mode AT模式同样是分阶段提交的事务模型，不过缺弥补了XA模型中资源锁定周期过长的缺陷。 前 ......
R语言贝叶斯Metropolis-Hastings Gibbs 吉布斯采样器估计变点指数分布分析泊松过程车站等待时间|附代码数据
原文链接：http://tecdat.cn/?p=26578 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于吉布斯采样器的研究报告，包括一些图形和统计输出。 指数分布是泊松过程中事件之间时间的概率分布，因此它用于预测到下一个事件的等待时间，例如，您需要在公共汽车站等待的时间，直到下一班车到 ......
select for update在springboot里实现分布式锁
// mapper，注意，这里的参数最好就是主键或者唯一键，否则产生的是表锁 @Select("<script> select* from foo where id = #{id} for update</script>") Foo selectForUpdateById(@Param("id") ......
torch 多进程训练和分布式训练
通常来说，多进程没有涉及到梯度同步的概念。 分布式则设计梯度同步。分布式中，如果用cpu，则指定gloo后端。用gpu，则指定nccl后端。 多进程训练 只需要mp.spawn即可，每个进程只负责自己的模型训练，不涉及梯度同步。 例子 https://www.geeksforgeeks.org/mu ......
SQL server不同域之间搭建分布式可用性组
配置 Always On 分布式可用性组 要创建分布式可用性组，必须创建两个具有各自侦听程序的可用性组。 然后将这些可用性组合并到分布式可用性组中。 两个可用性组无需处于同一位置：它们可以跨物理机、虚拟机；跨内网、云上；跨有域、无域；甚至跨平台（如Linux、Windows）。只要两个可用性组可以进 ......
分布式配置中心
为什么要有分布式配置中心： 1、项目背景 现在有一个项目，使用SSM进行开发的，配置文件的话我们知道是一个叫做application.properties的文件。 #业务参数相关配置 user.register.default.name=小强 user.register.default.sex=男 ......
分布式缓存
分布式系统中常用的缓存方案有哪些？ 客户端缓存：页面和浏览器缓存，APP缓存，H5缓存，localStorage和sessionStorage CDN缓存： 内存存储：数据的缓存 内容分发：负载均衡 nginx缓存：本地缓存，外部缓存 数据库缓存：持久层缓存（mybatis，hibernate多级缓 ......
分布式事务
什么是分布式事务？ 对于分布式系统而言，需要保证分布式系统中的数据一致性，保证数据在子系统中始终保持一致，避免业务出现问题。 简单的说，在分布式系统上，一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务节点上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。 举个 ......
分布式锁
为什么需要分布式锁？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。我们需要使用互斥操作对共享资源进行保护，即同一时刻只允许一个线程访问共享资源，其他线程需要等待当前线程释放后才能访问。这样可以避免数据 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
分布式ID
1.分布式ID 什么是 ID？ 日常开发中，我们需要对系统中的各种数据使用 ID 唯一表示，比如用户 ID 对应且仅对应一个人，商品 ID 对应且仅对应一件商品，订单 ID 对应且仅对应一个订单。 简单来说，ID 就是数据的唯一标识。 什么是分布式 ID？ 分布式 ID 是分布式系统下的 ID。 举 ......
鸿蒙原生应用开发——分布式数据对象
01、什么是分布式数据对象 在可信组网环境下，多个相互组网认证的设备将各自创建的对象加入同一个sessionId，使得加入的多个数据对象之间可以同步数据，也就是说，当某一数据对象属性发生变更时，其他数据对象会检测到这一变更，同时将自身属性更新。此时，该sessionId下的所有数据对象属性相同，这样 ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
分布式系统-异步
异步，是分布式系统重要的设计原则之一。 为什么异步很重要呢？ 试想一个场景，在电商业务中，用户下单并支付成功后，需要给店家推送一个消息，告诉店家来订单了，抓紧发货。 这个推送功能，如果和支付回调接口做成同步，会有什么问题呢？ 要知道，系统总是不可能绝对稳定的。如果推送接口异常或者超时了，主流程就会受 ......
分布式系统-负载均衡
分布式系统中，业务系统都是集群部署，而且一般会做微服务化。那么，从一个系统rpc请求到另一个系统，应该路由到哪一台节点呢？这，就涉及到负载均衡。 负载均衡的核心，便是负载均衡算法，算法有很多，主要介绍其中六种，并说一说各自算法的优缺点。 1. 加权随机 加权随机，顾名思义，就是路由到哪一台节点，是通 ......
分布式资源调度框架YARN
1、YARN=Yet Another Resource Negotiator 2、主从架构，一主多从3、主=ResourceManager,从=NodeManager4、ResourceManager由ApplicationManager和ResourceScheduler组成5、NodeManag ......
redis分布式锁实现原理
在.net core 中，可以使用StackExchange.Redis实现redis分布式锁， /// <summary>/// 分布式锁/// </summary>/// <param name="Redis">RedisDB</param>/// <param name="Key">锁标识</ ......
分布式系统的困难点
分布式系统在技术上需要注意的问题 问题1：异构系统的不标准问题 问题2：系统架构中的服务依赖性问题 问题3：故障发生的概率更大 问题4：多层架构的运维复杂度更大 ......
分布式事务-Seata解决方案
一、定义 Seata解决方案是分布式事务解决方案之一。常用的分布式事务解决方案有：2PC,3PC,TCC,SAGA(seata)、本地消息表、MQ消息事务、最大努力通知。 Seata是一款分布式解决方案，致力于提供高性能和简单易用的分布式事务服务。提供事务模式有：AT,TCC,SAGA,XA。其中A ......