分布式 体系
01.App 自动化测试的价值与体系
UI 自动化价值 提高效率 融入企业迭代流水线，与 CI/CD/DevOps 结合 回归测试、功能测试加速 提高质量： 兼容性测试 专项/非功能测试 自动化探索测试 app 测试的时代背景 按月发布->按周发布->按小时发布 多端发布：Android、iOS、微信小程序、h5 多环境发布：联调环境、 ......
MongoDB中的分布式集群架构
MongoDB 中的分布式集群架构 前言 Replica Set 副本集模式 副本集写和读的特性 Sharding 分片模式 分片的优势 MongoDB 分片的组件 分片键 chunk 是什么 分片的算法 哈希分片 范围分片 总结 参考 MongoDB 中的分布式集群架构 前言 前面我们了解了 Mo ......
Windows电脑上的多开工具与分布式计算的关系
在Windows电脑上，多开工具和分布式计算之间存在着一定的关系。多开工具是一类软件，可以帮助用户在一台电脑上同时打开多个相同或不同的应用程序实例，从而提高工作效率。而分布式计算则是利用多台计算机的闲置资源来共同完成复杂的计算任务，通过将任务分发到各个计算节点上并将计算结果汇总，从而加快计算速度和提 ......
Redis分布式锁的扩展方法
分布式锁代码 #region 秒杀业务测试 private static readonly string redisConnectionStr = "127.0.0.1:6379,connectTimeout=5000,allowAdmin=false,defaultDatabase=1"; /// ......
Java核心知识体系8：Java如何保证线程安全性
Java核心知识体系1：泛型机制详解 Java核心知识体系2：注解机制详解 Java核心知识体系3：异常机制详解 Java核心知识体系4：AOP原理和切面应用 Java核心知识体系5：反射机制详解 Java核心知识体系6：集合框架详解 Java核心知识体系7：线程不安全分析 1 Java内存模型（J ......
第一章 微服务架构体系
1.1系统架构的演变 随着互联网的发展，网站应用的规模不断扩大，常规的应用架构已无法应对，分布式服务架构以及微服务架构势在必行，亟需一个治理系统确保架构有条不紊的演进。 1.1.1单体应用架构 Web应用程序发展的早期，大部分web工程(包含前端页面,web层代码,service层代码,dao层代码 ......
分布式存储
分布式存储 分布式存储的思想是什么 分布式存储的思想是将数据分散存储在多个节点上，以提高数据的可靠性、可扩展性和性能。它基于以下几个核心思想： 数据分散：将数据切分成多个块或对象，并将它们存储在不同的节点上。这样可以避免单点故障，提高系统的可靠性。 冗余备份：为了保证数据的可靠性，每个数据块通常会有 ......
03_ARM体系结构_Cortex-A系列
03_ARM体系结构_Cortex-A系列 1. 如何来学习ARM结构体系 内容大纲 1、ARM架构和处理器 2、工具、操作系统和开发板 3、ARM寄存器、数据类型、模式和指令集 4、ARM汇编语言 5、SIMD和NEON 6、ARM缓存(Caches)架构 7、内存管理单元 8、中断处理(Inte ......
SpringCloud Seata【解决分布式事务的问题】安装
SpringCloud Seata【解决分布式事务的问题】安装 1. 问题引出 1.1 单机单库（多表）处理事务示意图 1.2 分布式微服务架构下的数据库事务示意图 图片梳理：用户购买商品的业务逻辑。整个业务逻辑由3个微服务提供支持： 仓库服务：对给定商品 扣除商品数量 订单服务：根据采购需求创建订 ......
.net core 分布式锁 之 基于 Redis 的 RedLock
使用场景 分布式锁的业务场景涉及到并发控制、任务调度、缓存更新、分布式事务和防止重复操作等方面，能够保证分布式系统的数据一致性和正确性。 并发控制：当多个线程或进程同时访问共享资源时，使用分布式锁可以确保只有一个线程或进程能够访问该资源，避免数据竞争和并发冲突。 分布式任务调度：在分布式系统中，多个 ......
探索服务网格与 OpenTelemetry 的协同之分布式跟踪
在上一篇文章中，介绍了 如何在 k8s 中无侵入安装 Otel 探针 并实现了无侵入（某些语言还无法实现，比如 Go 的 eBPF 对内核的苛刻要求）的分布式跟踪。 这篇文章发出后有读者评论 javaagent 的“无侵入”一说，这里有必要解释下。“无侵入”主要指的是不需要修改应用程序的业务逻辑代码 ......
Spring Cloud Seata系列：基于AT模式实现分布式事务
目录前提Seata的AT模型流程梳理一阶段：二阶段-回滚二阶段-提交脏写问题写隔离读隔离优缺点AT与XA的区别实现AT模式 https://seata.io/zh-cn/docs/dev/mode/at-mode AT模式同样是分阶段提交的事务模型，不过缺弥补了XA模型中资源锁定周期过长的缺陷。 前 ......
R语言贝叶斯Metropolis-Hastings Gibbs 吉布斯采样器估计变点指数分布分析泊松过程车站等待时间|附代码数据
原文链接：http://tecdat.cn/?p=26578 原文出处：拓端数据部落公众号 最近我们被客户要求撰写关于吉布斯采样器的研究报告，包括一些图形和统计输出。 指数分布是泊松过程中事件之间时间的概率分布，因此它用于预测到下一个事件的等待时间，例如，您需要在公共汽车站等待的时间，直到下一班车到 ......
Java从入门到放弃（知识体系图谱）
一、Java学习路线 话不多说，先来一张劝退图！！！ 二、Java并发学习路线 下面是一张关于 Java 并发编程的思维导图，大的方向可以分为三个部分：线程基础、理论基础、工具类 JUC 三、Java虚拟机 一张关于 JVM 的思维导图，大的方向可以分为三个部分：字节码与类的加载、内存与垃圾回收、性 ......
select for update在springboot里实现分布式锁
// mapper，注意，这里的参数最好就是主键或者唯一键，否则产生的是表锁 @Select("<script> select* from foo where id = #{id} for update</script>") Foo selectForUpdateById(@Param("id") ......
torch 多进程训练和分布式训练
通常来说，多进程没有涉及到梯度同步的概念。 分布式则设计梯度同步。分布式中，如果用cpu，则指定gloo后端。用gpu，则指定nccl后端。 多进程训练 只需要mp.spawn即可，每个进程只负责自己的模型训练，不涉及梯度同步。 例子 https://www.geeksforgeeks.org/mu ......
CPU调度器实现提示：针对特定体系结构代码【ChatGPT】
https://www.kernel.org/doc/html/v6.6/scheduler/sched-arch.html 《CPU调度器实现提示：针对特定体系结构代码》 Nick Piggin，2005 上下文切换 运行队列锁定 默认情况下，调用switch_to体系结构函数时会锁定运行队列。除 ......
SQL server不同域之间搭建分布式可用性组
配置 Always On 分布式可用性组 要创建分布式可用性组，必须创建两个具有各自侦听程序的可用性组。 然后将这些可用性组合并到分布式可用性组中。 两个可用性组无需处于同一位置：它们可以跨物理机、虚拟机；跨内网、云上；跨有域、无域；甚至跨平台（如Linux、Windows）。只要两个可用性组可以进 ......
三体系审核重点关注哪些过程和常见的问题项！
很多学员通过考试并已挂靠机构开始实习，但审核过程并非纸上谈兵，三体系的审核过程中应该重点关注哪些过程和常见的问题项呢，让我们从文中一一熟悉了解吧。建议备考、实习阶段的考生收藏。 01 质量管理体系审核中常见问题点 001.文件控制 A、内部文件的审批、分发、更改： 1）工程图纸未经审批即已发行、使用 ......
分布式配置中心
为什么要有分布式配置中心： 1、项目背景 现在有一个项目，使用SSM进行开发的，配置文件的话我们知道是一个叫做application.properties的文件。 #业务参数相关配置 user.register.default.name=小强 user.register.default.sex=男 ......
分布式缓存
分布式系统中常用的缓存方案有哪些？ 客户端缓存：页面和浏览器缓存，APP缓存，H5缓存，localStorage和sessionStorage CDN缓存： 内存存储：数据的缓存 内容分发：负载均衡 nginx缓存：本地缓存，外部缓存 数据库缓存：持久层缓存（mybatis，hibernate多级缓 ......
分布式事务
什么是分布式事务？ 对于分布式系统而言，需要保证分布式系统中的数据一致性，保证数据在子系统中始终保持一致，避免业务出现问题。 简单的说，在分布式系统上，一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务节点上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。 举个 ......
分布式锁
为什么需要分布式锁？ 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。我们需要使用互斥操作对共享资源进行保护，即同一时刻只允许一个线程访问共享资源，其他线程需要等待当前线程释放后才能访问。这样可以避免数据 ......
基于Docker容器搭建hadoop完全分布式集群环境
简介 物理机：windows10 宿主机：Centos7虚拟机，需要安装Docker服务 hadoop集群节点：3个centos7的容器，hadoop1、hadoop2、hadoop3 组件： 容器镜像：Centos7 Docker CE 24.0.7 JDK1.8.0_181 Hadoop3.1. ......
分布式ID
1.分布式ID 什么是 ID？ 日常开发中，我们需要对系统中的各种数据使用 ID 唯一表示，比如用户 ID 对应且仅对应一个人，商品 ID 对应且仅对应一件商品，订单 ID 对应且仅对应一个订单。 简单来说，ID 就是数据的唯一标识。 什么是分布式 ID？ 分布式 ID 是分布式系统下的 ID。 举 ......
鸿蒙原生应用开发——分布式数据对象
01、什么是分布式数据对象 在可信组网环境下，多个相互组网认证的设备将各自创建的对象加入同一个sessionId，使得加入的多个数据对象之间可以同步数据，也就是说，当某一数据对象属性发生变更时，其他数据对象会检测到这一变更，同时将自身属性更新。此时，该sessionId下的所有数据对象属性相同，这样 ......
.NET使用分布式网络爬虫框架DotnetSpider快速开发爬虫功能
前言 前段时间有同学在微信群里提问，要使用.NET开发一个简单的爬虫功能但是没有做过无从下手。今天给大家推荐一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架（可以帮助 .NET 工程师快速的完成爬虫的开发）：DotnetSpider。 注意：为了自身安全请在国家法律允许范围内开发网络爬虫功能。 框 ......
分布式系统-异步
异步，是分布式系统重要的设计原则之一。 为什么异步很重要呢？ 试想一个场景，在电商业务中，用户下单并支付成功后，需要给店家推送一个消息，告诉店家来订单了，抓紧发货。 这个推送功能，如果和支付回调接口做成同步，会有什么问题呢？ 要知道，系统总是不可能绝对稳定的。如果推送接口异常或者超时了，主流程就会受 ......
分布式系统-负载均衡
分布式系统中，业务系统都是集群部署，而且一般会做微服务化。那么，从一个系统rpc请求到另一个系统，应该路由到哪一台节点呢？这，就涉及到负载均衡。 负载均衡的核心，便是负载均衡算法，算法有很多，主要介绍其中六种，并说一说各自算法的优缺点。 1. 加权随机 加权随机，顾名思义，就是路由到哪一台节点，是通 ......