改进型 分布式 雪花
分布式锁总结归纳
我们都知道在微服务架构中，微服务之间要保持单线程运行一段代码只能用到分布式锁，下面这个文章介绍了几种实现分布式锁的方案，并对比了每种方案的优势和劣势： 分布式锁(5种) 需要注意的是，这篇文章中提到了公平锁的概念，在上面这个文章的方案中zookeeper和etcd这两个是天然的公平锁方案，目前来看是 ......
Google全球分布式数据库：Spanner
2012年的OSDI上google发布了Spanner数据库。个人认为Spanner对于版本控制，事务外部一致性的处理，使用TrueTime + Timestamp进行全球备份同步的实现都比较值得一看。个人认为对于其中时序逻辑的理解对在大范围内（通常是全国到全球）部署分布式DB以确保复制同步有重要意 ......
分布式定时任务-利用分布式定时任务框架xxl-job实现任务动态发布
1.场景：项目前期使用k8s部署的单节点，后期生产需要将单节点的服务扩展多个节点，每个节点的定时任务使用的quartz实现，如果不加限制且定时任务有对数据库的写操作，在不同节点上执行的定时任务容易造成数据库产生脏数据，所以需要分布式任务框架对任务进行控制，这里我们使用xxl-job实现。 2.需要下 ......
分布式事务
本地事务在分布式下会出现的问题 只能各自回滚各自的 簇点头那边抛出异常 >全部回滚(ok) 簇点第一个远程调用返回code不正确,我们可在主方法这抛异常(ok) 簇点非第一个远程调用code不正确,我们只有那个远程调用和主方法会rollback,在其之前的远程调用无法rollback没人通知(NO) ......
谷粒商城分布式基础（一）—— 项目简介 & 分布式基础
目录 一 项目简介 1、项目背景 二、分布式基础概念 分布式基础篇 回到顶部 一 项目简介 1、项目背景 1.1 电商模式 市面上有 5 种常见的电商模式 B2B、B2C、C2B、C2C、O2O； （1）B2B模式 B2B(Business to Business)，是指商家和商家建立的商业关系，如 ......
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......
r语言Bootstrap自助法重采样构建统计量T抽样分布近似值可视化
全文链接：https://tecdat.cn/?p=33939 原文出处：拓端数据部落公众号 统计量T是数据的一个函数，不依赖于任何未知参数（即我们可以根据数据计算得到它）。这意味着给定数据值x1,x2,⋯,xn，统计量T就是一个"数字"。然而，在观察到数据之前，"数据"是随机变量X1,X2,⋯,X ......
几何分布无记忆性的感性理解
几何分布：在独立重复试验中，实验次数预先不能确定，设每次实验成功的概率为p,将实验进行到成功一次为止，以\(X\)表示所需的实验次数，则\(X\)的分布律为 \[P\{X=k\}=(1-p)^{k-1}p,k=1,2,3... \] 无记忆性 ： \[P(X>n|X>m) = P(X>n-m) \] ......
模拟集成电路设计系列博客——3.2.2 改进恒定跨导电路
3.2.2 改进恒定跨导电路 可以将宽摆幅电流镜结合到上小节所述的恒定跨导偏置电路中。这种修改可以显著降低由于晶体管有限输出阻抗导致的二阶效应，同时并不过于影响信号摆幅。完整电路如下图所示[McLaren, 2001]。这个电路是前面介绍过的固定跨导电路的改进版本，引入了宽摆幅电流镜和启动电路。 固 ......
[swin-trans]分布式训练的debug：ValueError: Error initializing torch.distributed using env:// rendezvous: en
在用torch.distributed.init_process_group(backend='nccl', init_method='env://', world_size=world_size, rank=rank)时，出现 1、ValueError: Error initializing to ......
使用Grafana 监控 minio 的部分改进
使用Grafana 监控 minio 的部分改进 部署minio开启监控metrics的脚本 mkdir -p /data/minio/data cat << EOF > /etc/systemd/system/minio.service [Unit] Description=minio [Serv ......
jmeter分布式压测配置
环境： 主机是windows系统方便图形界面使用 从机是虚拟机上的centos7操作系统 主从版本一致：jmeter.5.6.2 检测cpu和内存：插件配置详见 ==> 插件配置 主机配置： 有就配置，没有就添加： server.rmi.ssl.disable=true remote_hosts=1 ......
Redisson分布式锁的原理简介
在解决并发安全问题的时候，思路其实就是将并发执行控制为串行执行，这就是锁的具体表现。 在传统的单机模式下，synchronized关键字、ReentrantLock、CAS等方案的单机锁是可行的，但是分布式架构的微服务，一个服务多个节点的场景就需要Redisson等分布式锁来处理。 经典的秒杀场景下 ......
Disjob—分布式任务调度框架
简介 Disjob是一款分布式的任务调度框架，天然为支持分布式长任务执行而设计，它除了具备常规的任务调度功能外，还提供：任务拆分及分布式并行执行、暂停及取消运行中的任务、恢复执行被暂停的任务、任务执行失败重试、保存任务的执行快照(Savepoint)、任务依赖、任务编排(DAG)、广播任务等能力。 ......
R语言改进的K-Means(K-均值)聚类算法分析股票盈利能力和可视化|附代码数据
全文链接：http://tecdat.cn/?p=32418 原文出处：拓端数据部落公众号 大量数据中具有"相似"特征的数据点或样本划分为一个类别。聚类分析提供了样本集在非监督模式下的类别划分。 人们在投资时总期望以最小的风险获取最大的利益，面对庞大的股票市场和繁杂的股票数据，要想对股票进行合理的分 ......
docker-compose搭建多主机分布式minio
minio介绍 Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。 官网地址：MinIO | High Performance, Kubernetes Native Object Storage 何为对象存储？我们来看下阿里云 OSS （Object Stor ......
雪花算法：分布式唯一ID生成利器
雪花算法：分布式唯一ID生成利器 程序新视界 关注他 前言 无论是在分布式系统中的ID生成，还是在业务系统中请求流水号这一类唯一编号的生成，都是软件开发人员经常会面临的一场景。而雪花算法便是这些场景的一个解决方案。 以分布式ID为例，它的生成往往会在唯一性、递增性、高可用性、高性能等方面都有所要求 ......
celery 分布式异步消息任务队列
一、介绍 中文网：Celery 初次使用 - Celery 中文手册 (celerycn.io) Celery 官网：http://www.celeryproject.org/ Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index. ......
Redisson 实现分布式锁
Redisson 实现分布式锁 分布式锁的应用场景有哪些？实现的方式有哪几种？Redisson 又是怎么实现的？ 1、应用场景、特点及实现方式 1.1、分布式锁的应用场景 主要有以下两类： 提升处理效率：避免重复任务的执行，减少系统资源的浪费（例如幂等场景）。 保障数据一致性：在多个微服务并发访问时 ......
分布式事务
参考： 《凤凰架构》，原书 https://icyfenix.cn/ 本节所说的分布式事务（Distributed Transaction）特指多个服务同时访问多个数据源的事务处理机制。 CAP定理（Consistency、Availability、Partition Tolerance Theor ......
Xxl-job 分布式调度任务使用
Xxl-job 分布式调度任务使用 一．XXL-job 产品介绍 1.简介： XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展. 作者是大众点评的许雪里.目前最新版本为v2.x. 2.特性功能： 1、简单：支持通过Web页面对任务进行CRUD操作，操作简单， ......
分布式应用开发的核心技术系列之——基于TCP/IP的原始消息设计
本文由葡萄城技术团队原创并首发。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前言 本文的内容主要围绕以下几个部分： TCP/IP的简单介绍。 消息的介绍。 基于消息分类的传输格式（流类型和XML类型）。 消息体系的组成。 TCP/IP的简单介绍 TCP ......
To_Heart—总结——没有鸟会为雪花祈祷[SCP2023游寄]
睡了一个多小时。😀 然后看 T1 打了 20min ，然后看 T2 打了30min的 80pts。因为想把时间先留给后面的题。然后对着 T3 思考，没过多久隔壁的 AK 了。😭 然后打了一个多小时 T3，后来发现不会处理那个离散函数和单调函数的关系，困了又睡了 20min。😜 醒来发现可以按照 ......
分布式ID
参考： JavaGuide：《分布式 id》 1、数据库主键自增 优点 ：实现起来比较简单、ID 有序递增、存储消耗空间小 缺点 ： 支持的并发量不大、存在数据库单点问题（可以使用数据库集群解决，不过增加了复杂度）、ID 没有具体业务含义、安全问题（比如根据订单 ID 的递增规律就能推算出每天的订单 ......
浅谈分布式事务及解决方案
1 背景 在讲述分布式事务的概念之前，我们先来回顾下事务相关的一些概念。 1.1 事务的基本概念 就是一个程序执行单元，里面的操作要么全部执行成功，要么全部执行失败，不允许只成功一半另外一半执行失败的事情发生。例如一段事务代码做了两次数据库更新操作，那么这两次数据库操作要么全部执行成功，要么全部回滚 ......
为什么不建议用redis做金融级分布式锁
最主要的问题是： 1.redis是AP而非CP的，所以在比如集群迁移等情况时可能产生两个应用在同一时间读取同一个key的数据是不一致的； 2.redis的key过期机制，可能加锁后业务执行了很长时间（STW或者IO很久）导致加锁区域的代码可能被另外一个进程/线程进来了； 3.目前金融级的分布式锁应该 ......
SAGA分布式
Saga是由一系列的本地事务构成。每一个本地事务在更新完数据库之后，会发布一条消息或者一个事件来触发Saga中的下一个本地事务的执行。如果一个本地事务因为某些业务规则无法满足而失败，Saga会执行在这个失败的事务之前成功提交的所有事务的补偿操作。 Saga的实现有很多种方式，其中最流行的两种方式是： ......
算法--雪花算法
一、简介 雪花算法【Snowflake】是一种分布式唯一ID生成算法。能够生成唯一的，有序列的，高可用的ID，常用于分布式系统中作为全局唯一标识符【GUID】。雪花算法生成的ID是一个64位的整数，其中高位是时间戳，中间位是机器ID，低位是序列号。 二、组成 1、1位符号位：0表示正数，1表示负数（ ......
有手就会做！保姆级Jmeter分布式压测操作流程（图文并茂）
分布式压测原理 分布式压测操作 保证本机和执行机的JDK和Jmeter版本一致 配置Jmeter环境变量 配置Jmeter配置文件 上传每个执行机服务jmeter chmod -R 755 apache-jmeter-5.1.1/ 执行机配置写自己的ip 控制机配置所有执行机ip,把server.r ......
分布式一致性算法Raft
raft算法之所以容易理解，其一是他将一致性问题划分成几个子问题，这几个子问题都是独立、可理解和解释的。从传统的思维来讲，对于一个复杂的系统或者工程，都是大化小，分解实现，然后去尝试融合解决整体逻辑。 一、Raft详解 Raft算法是分布式系统开发首选的共识算法。比如现在流行Etcd、Consul、 ......