分布式 现状 理论
[swin-trans]分布式训练的debug：ValueError: Error initializing torch.distributed using env:// rendezvous: en
在用torch.distributed.init_process_group(backend='nccl', init_method='env://', world_size=world_size, rank=rank)时，出现 1、ValueError: Error initializing to ......
jmeter分布式压测配置
环境： 主机是windows系统方便图形界面使用 从机是虚拟机上的centos7操作系统 主从版本一致：jmeter.5.6.2 检测cpu和内存：插件配置详见 ==> 插件配置 主机配置： 有就配置，没有就添加： server.rmi.ssl.disable=true remote_hosts=1 ......
Redisson分布式锁的原理简介
在解决并发安全问题的时候，思路其实就是将并发执行控制为串行执行，这就是锁的具体表现。 在传统的单机模式下，synchronized关键字、ReentrantLock、CAS等方案的单机锁是可行的，但是分布式架构的微服务，一个服务多个节点的场景就需要Redisson等分布式锁来处理。 经典的秒杀场景下 ......
Disjob—分布式任务调度框架
简介 Disjob是一款分布式的任务调度框架，天然为支持分布式长任务执行而设计，它除了具备常规的任务调度功能外，还提供：任务拆分及分布式并行执行、暂停及取消运行中的任务、恢复执行被暂停的任务、任务执行失败重试、保存任务的执行快照(Savepoint)、任务依赖、任务编排(DAG)、广播任务等能力。 ......
GIL全局解释器锁、互斥锁、线程队列、进程池和线程池的使用、多线程爬取网页、协程理论、协程实现高并发
进程和线程的比较 进程的开销比线程的开销大很多 进程之间的数据是隔离的，但是，线程之间的数据不隔离 多个进程之间的线程数据不共享 >还是让进程通信(IPC) >进程下的线程也通信了 >队列 GIL全局解释器锁(重要理论) Python在设计之初就考虑到要在主循环中，同时只有一个线程在执行。虽然 Py ......
docker-compose搭建多主机分布式minio
minio介绍 Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。 官网地址：MinIO | High Performance, Kubernetes Native Object Storage 何为对象存储？我们来看下阿里云 OSS （Object Stor ......
雪花算法：分布式唯一ID生成利器
雪花算法：分布式唯一ID生成利器 程序新视界 关注他 前言 无论是在分布式系统中的ID生成，还是在业务系统中请求流水号这一类唯一编号的生成，都是软件开发人员经常会面临的一场景。而雪花算法便是这些场景的一个解决方案。 以分布式ID为例，它的生成往往会在唯一性、递增性、高可用性、高性能等方面都有所要求 ......
celery 分布式异步消息任务队列
一、介绍 中文网：Celery 初次使用 - Celery 中文手册 (celerycn.io) Celery 官网：http://www.celeryproject.org/ Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index. ......
Redisson 实现分布式锁
Redisson 实现分布式锁 分布式锁的应用场景有哪些？实现的方式有哪几种？Redisson 又是怎么实现的？ 1、应用场景、特点及实现方式 1.1、分布式锁的应用场景 主要有以下两类： 提升处理效率：避免重复任务的执行，减少系统资源的浪费（例如幂等场景）。 保障数据一致性：在多个微服务并发访问时 ......
分布式事务
参考： 《凤凰架构》，原书 https://icyfenix.cn/ 本节所说的分布式事务（Distributed Transaction）特指多个服务同时访问多个数据源的事务处理机制。 CAP定理（Consistency、Availability、Partition Tolerance Theor ......
从理论到实践，实时湖仓功能架构设计与落地实战
在上篇文章中，我们向大家解释了为什么实时湖仓是当前企业数字化转型过程中的解决之道，介绍了实时计算和数据湖结合的应用场景。（“数据驱动”时代，企业为什么需要实时湖仓？） 在这篇文章中，我们将详细介绍在数栈实时开发平台内，实时湖仓的功能架构设计和具体实操案例。 功能架构介绍 实时湖仓并不是一个独立的产品 ......
Xxl-job 分布式调度任务使用
Xxl-job 分布式调度任务使用 一．XXL-job 产品介绍 1.简介： XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展. 作者是大众点评的许雪里.目前最新版本为v2.x. 2.特性功能： 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单， ......
DevOps2023现状报告｜注重文化、以用户为中心是成功的关键
Google Cloud DORA 团队的一份新研究报告强调了企业文化和关注用户作为成功软件交付支柱的重要性。 2023 DevOps 状况报告分析了过去 9 年来通过此类最大规模调查收集的全球 36,000 多名 IT 专业人员的数据。今年的报告是继 2022 年调查之后发布的，该调查发现越来越多 ......
分布式应用开发的核心技术系列之——基于TCP/IP的原始消息设计
本文由葡萄城技术团队原创并首发。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前言 本文的内容主要围绕以下几个部分： TCP/IP的简单介绍。 消息的介绍。 基于消息分类的传输格式（流类型和XML类型）。 消息体系的组成。 TCP/IP的简单介绍 TCP ......
算法训练day34 贪心算法理论，455.376.53
算法训练day34 贪心算法理论，455.376.53 理论基础 概念 选择每一阶段的最优解，从而达到全局最优 一般步骤（鸡肋 问题分解为子问题 找出合适的贪心策略 求解每一个子问题的最优解 将局部最优叠加成全局最优解 455.分发饼干 题目 https://leetcode.cn/problems ......
java链表详解 理论+代码+图示
1、定义 链表是一种物理存储结构上非连续存储结构，数据元素的逻辑顺序是通过链表中的引用链接次序实现的。（即链表是一个个节点组成的，这些节点物理上不连续，但逻辑上连续） 一个节点就是一个Node对象。 2、链表结构 单向、双向； 带头、不带头； 循环、非循环； 以上情况组合起来就有8种链表结构 （双向 ......
pytorch(10.2.2) 注意力汇聚理论 代码测试
https://zh.d2l.ai/chapter_attention-mechanisms/nadaraya-waston.html from d2l import torch as d2l import torch from torch import nn #@save def show_hea ......
分布式ID
参考： JavaGuide：《分布式 id》 1、数据库主键自增 优点 ：实现起来比较简单、ID 有序递增、存储消耗空间小 缺点 ： 支持的并发量不大、存在数据库单点问题（可以使用数据库集群解决，不过增加了复杂度）、ID 没有具体业务含义、安全问题（比如根据订单 ID 的递增规律就能推算出每天的订单 ......
浅谈分布式事务及解决方案
1 背景 在讲述分布式事务的概念之前，我们先来回顾下事务相关的一些概念。 1.1 事务的基本概念 就是一个程序执行单元，里面的操作要么全部执行成功，要么全部执行失败，不允许只成功一半另外一半执行失败的事情发生。例如一段事务代码做了两次数据库更新操作，那么这两次数据库操作要么全部执行成功，要么全部回滚 ......
为什么不建议用redis做金融级分布式锁
最主要的问题是： 1.redis是AP而非CP的，所以在比如集群迁移等情况时可能产生两个应用在同一时间读取同一个key的数据是不一致的； 2.redis的key过期机制，可能加锁后业务执行了很长时间（STW或者IO很久）导致加锁区域的代码可能被另外一个进程/线程进来了； 3.目前金融级的分布式锁应该 ......
pytorch(10.2) 注意力汇聚理论
https://zh.d2l.ai/chapter_attention-mechanisms/nadaraya-waston.html https://zhuanlan.zhihu.com/p/265108616 Attention注意力机制与self-attention自注意力机制 Attenti ......
SAGA分布式
Saga是由一系列的本地事务构成。每一个本地事务在更新完数据库之后，会发布一条消息或者一个事件来触发Saga中的下一个本地事务的执行。如果一个本地事务因为某些业务规则无法满足而失败，Saga会执行在这个失败的事务之前成功提交的所有事务的补偿操作。 Saga的实现有很多种方式，其中最流行的两种方式是： ......
有手就会做！保姆级Jmeter分布式压测操作流程（图文并茂）
分布式压测原理 分布式压测操作 保证本机和执行机的JDK和Jmeter版本一致 配置Jmeter环境变量 配置Jmeter配置文件 上传每个执行机服务jmeter chmod -R 755 apache-jmeter-5.1.1/ 执行机配置写自己的ip 控制机配置所有执行机ip,把server.r ......
Chiplet封装技术的应用现状
这是IC男奋斗史的第39篇原创 本文1651字，预计阅读4分钟。 接上文：Chiplet解决芯片技术发展瓶颈 Chiplet封装的产品介绍 以下介绍几款国内外使用Chiplet封装技术的代表产品，包括CPU、GPU和ASIC芯片。 1. 苹果M1-Ultra CPU： 2022年3月9日，苹果推出自 ......
分布式一致性算法Raft
raft算法之所以容易理解，其一是他将一致性问题划分成几个子问题，这几个子问题都是独立、可理解和解释的。从传统的思维来讲，对于一个复杂的系统或者工程，都是大化小，分解实现，然后去尝试融合解决整体逻辑。 一、Raft详解 Raft算法是分布式系统开发首选的共识算法。比如现在流行Etcd、Consul、 ......
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available)
【分布式】解决树莓派4B-64位更换清华源问题(GPG error:because the public key is not available) 别出BUG求求了 于 2022-04-30 16:15:38 发布 阅读量3.1k 收藏 18 点赞数 7分类专栏： 分布式 文章标签： debian ......
分布式一致性协议 之 Paxos协议
1、什么是Paxos Paxos协议其实说的就是Paxos算法, Paxos算法是基于消息传递且具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 Paxos由 莱斯利·兰伯特(Leslie Lamport)于1998年在《The Part-Time Parliamen ......
矩阵理论笔记1
第一讲 线性代数回顾 定理和性质 设\(A=(\alpha_{1},\alpha_{2},\alpha_{3},...,\alpha_{m})\)，其中\(\alpha_{i}\)是一个n维列向量，那么有下面命题等价： 1.1. \(b\in L(\alpha_{1},\alpha_{2},\alp ......
分布式存储系统需要解决的问题
0.数据集群的两种架构 数据集中集群 （多主从） 数据分散集群 数据同步 主节点环形空间 + 从节点position 去判断是该增量还是全量。 同步方式 以数据快照的方式同步 -- 通常是全量 以命令的方式（执行语句的方式同步） -- 增量 数据快照生成过程中的写入问题 以mvcc方式，可重复读的方 ......
测试左移右移-理论篇
目录前言一、浅解左移1.什么是测试左移？1.1对产品1.2对开发1.3对测试1.4对运维二、浅解右移1.1对产品1.2对开发1.3对测试1.4对运维三、总结 前言 测试左移右移，很多人说能让测试更拥有主动权，展示出测试岗位也是有很大的价值，说白了就是整体效率与质量保障。其实不然，是测试业界的一种进步 ......