分布式
LoadRunner分布式负载(多机器)
首先调用的负载机器可以没有LoadRunner，但是必须要有Agent Configuration： 全部勾选 在LoadRunner User的脚本中的接口调用必须使用ip，不能使用localhost。 打开Controller： 添加负载机： 测试连接： ready打钩表示连接通了。 点击菜单栏 ......
分布式操作系统的必要性及重要性
总有人在各个平台留言或者私信问LAXCUS分布式操作系统的各种问题，尤其是关于分布式操作系统的应用市场、价值、意义之类的问题。我们团队做LAXCUS分布式操作系统，也不是头脑凭空发热，是基于我们之前的大量产品设计、经验逐渐一步步做起来。当今已经进入智能时代，也是算力时代，人工智能、大数据、云计算是这 ......
分布式系统分析
什么是分布式系统 分布式系统是支持分布式处理的软件系统，是由通信网络互联的多处理机体系结构上执行任务的系统。 一个业务拆分为多个子业务，落地成不同的服务，将各个服务部署在不同的容器上。各个服务之间通过某种协议通信交互。 好处是有更好的可靠性，可扩展性，但也带来了一致性问题。所以碰到分布式系统，主要就 ......
分布式锁总结归纳
我们都知道在微服务架构中，微服务之间要保持单线程运行一段代码只能用到分布式锁，下面这个文章介绍了几种实现分布式锁的方案，并对比了每种方案的优势和劣势： 分布式锁(5种) 需要注意的是，这篇文章中提到了公平锁的概念，在上面这个文章的方案中zookeeper和etcd这两个是天然的公平锁方案，目前来看是 ......
Google全球分布式数据库：Spanner
2012年的OSDI上google发布了Spanner数据库。个人认为Spanner对于版本控制，事务外部一致性的处理，使用TrueTime + Timestamp进行全球备份同步的实现都比较值得一看。个人认为对于其中时序逻辑的理解对在大范围内（通常是全国到全球）部署分布式DB以确保复制同步有重要意 ......
分布式定时任务-利用分布式定时任务框架xxl-job实现任务动态发布
1.场景：项目前期使用k8s部署的单节点，后期生产需要将单节点的服务扩展多个节点，每个节点的定时任务使用的quartz实现，如果不加限制且定时任务有对数据库的写操作，在不同节点上执行的定时任务容易造成数据库产生脏数据，所以需要分布式任务框架对任务进行控制，这里我们使用xxl-job实现。 2.需要下 ......
分布式事务
本地事务在分布式下会出现的问题 只能各自回滚各自的 簇点头那边抛出异常 >全部回滚(ok) 簇点第一个远程调用返回code不正确,我们可在主方法这抛异常(ok) 簇点非第一个远程调用code不正确,我们只有那个远程调用和主方法会rollback,在其之前的远程调用无法rollback没人通知(NO) ......
谷粒商城分布式基础（一）—— 项目简介 & 分布式基础
目录 一 项目简介 1、项目背景 二、分布式基础概念 分布式基础篇 回到顶部 一 项目简介 1、项目背景 1.1 电商模式 市面上有 5 种常见的电商模式 B2B、B2C、C2B、C2C、O2O； （1）B2B模式 B2B(Business to Business)，是指商家和商家建立的商业关系，如 ......
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......
[swin-trans]分布式训练的debug：ValueError: Error initializing torch.distributed using env:// rendezvous: en
在用torch.distributed.init_process_group(backend='nccl', init_method='env://', world_size=world_size, rank=rank)时，出现 1、ValueError: Error initializing to ......
jmeter分布式压测配置
环境： 主机是windows系统方便图形界面使用 从机是虚拟机上的centos7操作系统 主从版本一致：jmeter.5.6.2 检测cpu和内存：插件配置详见 ==> 插件配置 主机配置： 有就配置，没有就添加： server.rmi.ssl.disable=true remote_hosts=1 ......
Redisson分布式锁的原理简介
在解决并发安全问题的时候，思路其实就是将并发执行控制为串行执行，这就是锁的具体表现。 在传统的单机模式下，synchronized关键字、ReentrantLock、CAS等方案的单机锁是可行的，但是分布式架构的微服务，一个服务多个节点的场景就需要Redisson等分布式锁来处理。 经典的秒杀场景下 ......
Disjob—分布式任务调度框架
简介 Disjob是一款分布式的任务调度框架，天然为支持分布式长任务执行而设计，它除了具备常规的任务调度功能外，还提供：任务拆分及分布式并行执行、暂停及取消运行中的任务、恢复执行被暂停的任务、任务执行失败重试、保存任务的执行快照(Savepoint)、任务依赖、任务编排(DAG)、广播任务等能力。 ......
docker-compose搭建多主机分布式minio
minio介绍 Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。 官网地址：MinIO | High Performance, Kubernetes Native Object Storage 何为对象存储？我们来看下阿里云 OSS （Object Stor ......
雪花算法：分布式唯一ID生成利器
雪花算法：分布式唯一ID生成利器 程序新视界 关注他 前言 无论是在分布式系统中的ID生成，还是在业务系统中请求流水号这一类唯一编号的生成，都是软件开发人员经常会面临的一场景。而雪花算法便是这些场景的一个解决方案。 以分布式ID为例，它的生成往往会在唯一性、递增性、高可用性、高性能等方面都有所要求 ......
celery 分布式异步消息任务队列
一、介绍 中文网：Celery 初次使用 - Celery 中文手册 (celerycn.io) Celery 官网：http://www.celeryproject.org/ Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index. ......
Redisson 实现分布式锁
Redisson 实现分布式锁 分布式锁的应用场景有哪些？实现的方式有哪几种？Redisson 又是怎么实现的？ 1、应用场景、特点及实现方式 1.1、分布式锁的应用场景 主要有以下两类： 提升处理效率：避免重复任务的执行，减少系统资源的浪费（例如幂等场景）。 保障数据一致性：在多个微服务并发访问时 ......
分布式事务
参考： 《凤凰架构》，原书 https://icyfenix.cn/ 本节所说的分布式事务（Distributed Transaction）特指多个服务同时访问多个数据源的事务处理机制。 CAP定理（Consistency、Availability、Partition Tolerance Theor ......
Xxl-job 分布式调度任务使用
Xxl-job 分布式调度任务使用 一．XXL-job 产品介绍 1.简介： XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展. 作者是大众点评的许雪里.目前最新版本为v2.x. 2.特性功能： 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单， ......
分布式应用开发的核心技术系列之——基于TCP/IP的原始消息设计
本文由葡萄城技术团队原创并首发。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前言 本文的内容主要围绕以下几个部分： TCP/IP的简单介绍。 消息的介绍。 基于消息分类的传输格式（流类型和XML类型）。 消息体系的组成。 TCP/IP的简单介绍 TCP ......
分布式ID
参考： JavaGuide：《分布式 id》 1、数据库主键自增 优点 ：实现起来比较简单、ID 有序递增、存储消耗空间小 缺点 ： 支持的并发量不大、存在数据库单点问题（可以使用数据库集群解决，不过增加了复杂度）、ID 没有具体业务含义、安全问题（比如根据订单 ID 的递增规律就能推算出每天的订单 ......
浅谈分布式事务及解决方案
1 背景 在讲述分布式事务的概念之前，我们先来回顾下事务相关的一些概念。 1.1 事务的基本概念 就是一个程序执行单元，里面的操作要么全部执行成功，要么全部执行失败，不允许只成功一半另外一半执行失败的事情发生。例如一段事务代码做了两次数据库更新操作，那么这两次数据库操作要么全部执行成功，要么全部回滚 ......
为什么不建议用redis做金融级分布式锁
最主要的问题是： 1.redis是AP而非CP的，所以在比如集群迁移等情况时可能产生两个应用在同一时间读取同一个key的数据是不一致的； 2.redis的key过期机制，可能加锁后业务执行了很长时间（STW或者IO很久）导致加锁区域的代码可能被另外一个进程/线程进来了； 3.目前金融级的分布式锁应该 ......
SAGA分布式
Saga是由一系列的本地事务构成。每一个本地事务在更新完数据库之后，会发布一条消息或者一个事件来触发Saga中的下一个本地事务的执行。如果一个本地事务因为某些业务规则无法满足而失败，Saga会执行在这个失败的事务之前成功提交的所有事务的补偿操作。 Saga的实现有很多种方式，其中最流行的两种方式是： ......
有手就会做！保姆级Jmeter分布式压测操作流程（图文并茂）
分布式压测原理 分布式压测操作 保证本机和执行机的JDK和Jmeter版本一致 配置Jmeter环境变量 配置Jmeter配置文件 上传每个执行机服务jmeter chmod -R 755 apache-jmeter-5.1.1/ 执行机配置写自己的ip 控制机配置所有执行机ip,把server.r ......
分布式一致性算法Raft
raft算法之所以容易理解，其一是他将一致性问题划分成几个子问题，这几个子问题都是独立、可理解和解释的。从传统的思维来讲，对于一个复杂的系统或者工程，都是大化小，分解实现，然后去尝试融合解决整体逻辑。 一、Raft详解 Raft算法是分布式系统开发首选的共识算法。比如现在流行Etcd、Consul、 ......
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available)
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available) 别出BUG求求了 于 2022-04-30 16:15:38 发布 阅读量3.1k 收藏 18 点赞数 7分类专栏： 分布式 文章标签： debian ......
分布式一致性协议 之 Paxos协议
1、什么是Paxos Paxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 Paxos由 莱斯利·兰伯特(Leslie Lamport)于1998年在《The Part-Time Parliamen ......
分布式存储系统需要解决的问题
0.数据集群的两种架构 数据集中集群 （多主从） 数据分散集群 数据同步 主节点环形空间 + 从节点position 去判断是该增量还是全量。 同步方式 以数据快照的方式同步 -- 通常是全量 以命令的方式（执行语句的方式同步） -- 增量 数据快照生成过程中的写入问题 以mvcc方式，可重复读的方 ......
Snowflake算法生成分布式ID实现Go、C++
Snowflake 算法是一种用于生成全局唯一 ID 的分布式算法。它在分布式系统中被广泛应用，用于解决多节点同时生成 ID 的冲突问题。 Snowflake 算法的核心思想是将一个64位的长整数（Long）分解成多个部分，每个部分代表不同的信息，例如时间戳、节点ID和序列号。通过这种方式，Snow ......