分布式 理论
分布式可视化 DAG 任务调度系统 Taier 的整体流程分析
Taier 作为[袋鼠云](https://www.dtstack.com/?src=szsm)的[开源项目](https://www.dtstack.com/?src=szsm)之一，是一个[分布式可视化的 DAG 任务调度系统](https://www.dtstack.com/?src=szsm ......
【技术积累】Linux中的命令行【理论篇】【九】
blkid命令 命令介绍 blkid命令是一个用于查看块设备属性的Linux命令。它可以识别和显示块设备的文件系统类型、UUID、LABEL、PARTUUID等信息。 命令说明 在Linux下可以使用 blkid命令 对查询设备上所采用文件系统类型进行查询。blkid主要用来对系统的块设备（包括交换 ......
博弈论——机制设计理论（八）
博弈论（GameTheory）是一种研究人类决策行为的数学方法，用于研究多个参与者之间的交互和策略选择。机制设计（MechanismDesign）则是博弈论的应用，用于构建合理的市场机制或决策规则，旨在引导参与者按照规则进行交互，在最优化的情况下获得稳定的收益。这里将探讨博弈论与机制设计的基本概念及 ......
IM消息ID技术专题(七)：深度解密vivo的自研分布式ID服务(鲁班)
本文通过对分布式ID的3种应用场景、实现难点以及9种分布式ID的实现方式进行介绍，并对结合vivo业务场景特性下自研的鲁班分布式ID服务从系统架构、ID生成规则与部分实现源码进行分享，希望为本文的阅读者在分布式ID的方案选型或技术自研提供参考。 ......
什么是LAXCUS分布式操作系统？
对于LAXCUS分布式操作系统的特征特点，总有网友各种询问，在这里简要回答一下。 相较Linux、Windows，Laxcus是同时在多台计算机上运行的操作系统，处理大规模、高并发、高性能业务，其特点是资源共享和任务并行，并实现【数存算管】超融合一体化。环境中的资源：CPU、GPU、内存、硬盘、网络 ......
Jmeter 分布式压测
****jmeter 分布式1.windows 做控制机 controller，linux 做压测机 agent;2.复制一份 jmeter 工具包做slave/agent ，修改 jmeter 配置： jmeter.properties -> server_port=1099server.rmi. ......
分布式环境下的幂等控制
### 简介 接口的幂等性：相同的请求参数，多次请求结果一致。相同请求无论发起多少次，服务器只会处理一次，或者处理多次结果一样 ### 需要幂等的场景 查询接口 下单时防止重复请求 内部服务异常重试等等 ### 如何保证幂等 幂等首先是需要分辨出是否为重复请求。假如是简单的select查询，是天然的 ......
Set/Number Theory: 集合/数 理论：N自然数集合 + Z整数集合 + Q有理数集 + R实数集合
集合： 序、集合运算、分类集合的运算:加法 完备性：Dedekind分割(不空、不漏、不乱)， 确界唯一性{上界集合、下界集合}： 对 N有理数集的 Dedekind分割{L, U}: , 对 Z实数集的 Dedekind分割{L, U), 对 Q有理数集的 Dedekind分割{L, U}: , ......
分布式版本控制系统（一）
# 分布式版本控制系统（一） [TOC] ##1、Git、Github、Gitlab 的区别 >- Git是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。git是一套软件，可 ......
Python用PyMC贝叶斯GLM广义线性模型、NUTS采样器拟合、后验分布可视化
全文链接：https://tecdat.cn/?p=33436 原文出处：拓端数据部落公众号 尽管贝叶斯方法相对于频率主义方法的理论优势已经在其他地方进行了详细讨论，但其更广泛采用的主要障碍是“可用性”。而使用贝叶斯方法，客户可以按照自己认为合适的方式定义模型。 线性回归 在此示例中，我们将帮助客户 ......
基于Redis的分布式锁
在多线程的环境下，为了保证一个代码块在同一时间只能由一个线程访问，Java中我们一般可以使用synchronized语法和ReetrantLock去保证，这实际上是本地锁的方式。但是现在公司都是流行分布式架构，在分布式环境下，如何保证不同节点的线程同步执行呢？ 实际上，对于分布式场景，我们可以使用分 ......
大数据分布式存储
为什么需要分布式存储？ 数据量太大，单机存储能力有上限，需要靠数量来解决问题 数量的提升带来的是网络传输、磁盘读写、CPU、内存等各方面的综合提升。 分布式组合在一起可以达到1+1>2的效果 1. 分布式系统常见的组织形式？ 去中心化模式：没有明确中心，大家协调工作 中心化模式：有明确的中心，基于中 ......
分布式坑
这三年被 本篇主要内容如下： 前言 我们都在讨论分布式，特别是面试的时候，不管是招初级软件工程师还是高级，都会要求懂分布式，甚至要求用过。传得沸沸扬扬的分布式到底是什么东东，有什么优势？ 借用火影忍术 看过火影的同学肯定知道漩涡鸣人的招牌忍术：多重影分身之术。 这个术有一个特别厉害的地方，过程和心得 ......
分布式事务的华丽进化
说到分布式事务，大家并不陌生。在实际工作中，用得比较多的还是柔性分布式事务，今天主要把在工作中运用到的几种柔性分布式事务的场景及实现方式做一个简单介绍，也可以看做是柔性分布式事务的一个演进过程。 ......
分布式事务解决方案-2PC, 3PC
在分布式系统中，每一个机器节点虽然都能明确的知道自己在事务操作中的结果是成功或失败，但无法直接获取其他节点的操作结果。因此在分布式环境中，为了保持事务的 ACID 特性，就需要增加一个“协调者”来管理其他节点（“参与者”）事务的提交和回滚。基于这个思想，衍生出二阶段提交 2PC 和三阶段提交 3PC ......
接口测试必备理论知识
### 一、 接口的分类 **按照协议划分：**HTTP、FTP、TCP\UDP\IP、Dubbo等协议接口 **按照语言划分：**Python、Java、C、C++ **按照内外系统划分：**内部系统接口和外部系统接口（又叫第三方接口）**按照技术应用划分：HTTP协议**、**Web Servi ......
大数据之分布式
1. 什么是计算、分布式计算？ 计算：对数据进行处理，使用统计分析等手段得到需要的结果 分布式计算：多台服务器协同工作，共同完成一个计算任务 2. 分布式计算常见的2种工作模式 分散->汇总 （MapReduce就是这种模式） 中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式） ......
Web自动化_分布式测试Grid入门
要在多台计算机上并⾏运⾏测试吗? 那么, Grid正是为你准备的。 分布式测试Grid环境： 1.需要JDK支持，最新的版本需要11版本，老版本的1.8selenium server jar包下载地址：https://github.com/SeleniumHQ/selenium/releases/t ......
分布式事务
整理自b站 1.什么事分布式事务 2.请描述二阶段提交的基本过程，具体的应用 3.2PC协议中，如何处理协调者和参与者之间的通信故障，请列举一些解决方案 超时机制 心跳机制 事务管理器故障->备份 消息队列 3. 3PC讲一下 预提交第二阶段 将数据库的redolog和undolog记录到事务日志里 ......
分布式事务
注解： @GlobalTransactional 手写： GlobalTransaction tx = GlobalTransactionContext.getCurrentOrCreate(); try { tx.begin(); tx.commit();//不能提交 }catch (Except ......
cookie和session的区别，分布式环境怎么保存用户状态
1、cookie数据存放在客户的浏览器上，session数据放在服务器上。 2、cookie不是很安全，别人可以分析存放在本地的COOKIE并进行COOKIE欺骗，考虑到安全应当使用session。 3、session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能，考虑到减轻服务 ......
分布式系统架构
分布式系统的架构思路 一、前言 在计算机领域，当单机性能达到瓶颈时，有两种方式可以解决性能问题，一是堆硬件，进一步提升配置，二是分布式，水平扩展。当然，两者都是一样的烧钱。今天聊聊我所理解的分布式系统的架构思路。 二、分布式系统的两种方式 平时接触到的分布式系统有很多种，比如分布式文件系统，分布式数 ......
Linux：CAP定理——分布式计算
一、起源与发展 CAP（Consistency、Availability、Partition Tolerance）（一致性、可用性、分区容忍性）也叫Brewer定理，由Eric Brewer于2000年提出。 2002年，Seth Gilbert和Nancy Lynch用严谨的数学推理证明了CAP猜 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记31_版本问题
 # 1. 在软件与外部环境之间的许多交汇点上，版本控制基本上处于混乱状态 ## 1.1. 不应该为了更新自身系统 ......
Jordan 标准形理论
原文发表于 $\text{2022-06-22 00:18:50}$。 *** 我们知道，同一个线性变换在不同基下的表示矩阵满足如下关系 $$\sigma(\alpha_1, \ldots, \alpha_n)=(\alpha_1, \ldots, \alpha_n)A$$ $$\sigma(\be ......
计算机程序内存分布（内存分布情况、五大分区）
计算机程序内存分布（栈、堆、BSS、数据区、代码段） [toc] # 存储器 - RAM:随机存储器,也叫主存(内存)。它可以随时读写，而且速度很快，通常作为操作系统或其他正在运行中的程序的临时数据存储媒介。 - ROM: 只读存储器 CPU、RAM、ROM之间的关系图 ![image](https ......
jmeter分布式压测
无论是jdk还是jmeter都放在usr/local目录下 jmeter分布式压测过程1.控制机跟代理机中间ping通2.控制机代理机安装相同版本的jdk，并配置jdk环境 环境配置成功在cmd打Java或javac可以获取内容java -version 查看jdk版本3.控制机代理机安装相同版本的 ......
代理模式的理论与实现
代理模式是一种结构型设计模式，它允许**通过创建一个代理对象来控制对另一个对象的访问**。代理模式在不改变原始对象的情况下，提供了一种**间接访问对象**的方式，可以在访问对象**前后**进行一些额外的操作。 ......
建造者模式的理论与实现
建造者模式是一种**创建复杂对象**的设计模式。它将一个复杂对象的构建过程分解为多个简单的步骤，并且允许按照特定的顺序来构建对象。通过使用建造者模式，我们可以**将对象的构建算法与表示分离，从而可以使用相同的构建过程来创建不同的表示**。通过使用建造者模式，我们可以更加灵活地构建复杂对象，同时也可以... ......
工厂模式的理论与实践
工厂模式是一种创建对象的设计模式。它提供了一种统一的接口来创建对象，而不需要直接使用构造函数。工厂模式将对象的创建过程封装在一个工厂类中，通过调用工厂类的方法来创建对象。这种模式可以隐藏对象创建的细节，使代码更加灵活和可维护。工厂模式通常包括一个抽象工厂类和多个具体工厂类，每个具体工厂类负责创建一种... ......