分布式 理论
配电网分布式电源和储能选址定容 以配电网总成本最低为目标函数，其中包括年运行成本
配电网分布式电源和储能选址定容 以配电网总成本最低为目标函数，其中包括年运行成本，设备维护折损成本、环境成本；以系统潮流运行为约束条件，采用粒子群算法求解，实现光伏、风电、储能设备的规划。YID:4980674139963843 ......
Rabbit-分布式事务实例 20230406
一、生产、消费者 流程 1、生产者(下单后生产 务必成功) 派单队列:order_platonn_queue 交换机:order_exchange_name 绑交换机路由键:orderRoutingKey 生产者=>采用confirm，确认应答机制 Ack模式:成功 失败则重试 2、消费者(plat ......
分布式技术剖析
随着企业数字化进程的进一步深入，企业为了解决大数据的“4个V”问题，往往需要构建多个不同技术栈的大数据平台，其中不乏会使用到分布式相关的存储、计算、资源管理技术。分布式系统的出现解决了单机系统无法解决的成本、效率和高可用问题。那么什么是分布式技术？如何发展至今？主要包括哪几方面的技术？本文将对分布式 ......
Hadoop完全分布式集群搭建
0 准备工作 首先需要准备三台虚拟机，这里准备的是hadoop1，hadoop1，hadoop3，虚拟机机要求如下： 配置了静态IP。 关闭了防火墙的。 虚拟机下载安装：https://www.cnblogs.com/lgjb/p/17292698.html 1 配置ssh免密登录 配置ssh免密登 ......
分布式与微服务之间的关系
根据设计期的架构思想和运行期的不同结构分为： 面向服务的架构 分布式服务架构 微服务架构 1、面向服务架构。以业务服务的角度和服务总线的方式，一般是webservice与ESB，考虑系统架构和企业IT治理； 2、分布式服务架构。基于去中心化的分布式服务框架与技术，考虑系统架构和服务治理； 3、微服务 ......
新一代分布式任务调度框架
本文已经收录到Github仓库，该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分布式、微服务、设计模式、架构、校招社招分享等核心知识点，欢迎star~ Github地址 如果访问不了Github，可以访 ......
GFS分布式文件系统
GFS分布式文件系统 1．GlusterFS简介 GlusterFS (Gluster File System) 是一个开源的分布式文件系统，主要由 Z RESEARCH 公司负责开发。GlusterFS 是 Scale-Out 存储解决方案 Gluster 的核心，具有强大的横向扩展能力， 通过扩 ......
DFS分布式文件系统
一、GFS文件系统概述 1．GlusterFS简介GlusterFS 是一个开源的分布式文件系统。由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。MFS传统的分布式文件系统大多通过元服务器来存储元数 ......
2PC 3PC TCC等多种分布式事务解决方案分析对比
前言 本文分析多种分布式事务的解决方案2PC、3PC TCC、可靠消息服务、最大努力通知，事务消息等。讲述其执行流程、优缺点、适用场景以及引文具体实战例子。 名词解释 TM(transaction manager) 事务协调者 RM(resource manager) 资源管理者/事务参与者/业务服 ......
Springboot整合Seata实现分布式事务
前言 Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 Seata 配置非常灵活，支持多种注册中心、配置来源（配置中心）和持久化方式。本文选择 eurek ......
Springboot整合TX-LCN实现分布式事务
前言 TX-LCN 是一款国产分布式事务协调框架，框架其本身并不操作事务，而是基于对事务的协调从而达到事务一致性的效果。 本文讲解如何使用 Springboot 作为基础，来配置使用 TX-LCN。 需要 MySQL 和 Redis。 名词解释 TM (Tx-Manager / Transactio ......
GFS分布式文件系统
一、文件系统简介1.1文件系统的组成接口：文件系统接口功能模块（管理、存储的工具）：对对象管理里的软件集合对象及属性：（使用此文件系统的消费者）1.2文件系统的作用从系统角度来看，文件系统时对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统主要负责为用户建立文件、存入 ......
GFS分布式文件系统
一、文件系统简介1.1文件系统的组成接口：文件系统接口功能模块（管理、存储的工具）：对对象管理里的软件集合对象及属性：（使用此文件系统的消费者）1.2文件系统的作用从系统角度来看，文件系统时对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统主要负责为用户建立文件、存入 ......
MAST20006 离散分布
MAST20006/MAST90057 – Module 2. Discrete DistributionsModule 2. Discrete DistributionsChapter 2 in the textbookSophie Hautphenne and Feng LiuThe Unive ......
GFS分布式文件系统
一、GlusterFS 概述 1.1 GlusterFS简介 GlusterFS是一个开源的分布式文件系统。 由存储服务器、客户端以及NFS/Samba存储网关(可选，根据需要选择使用)组成。 没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。 传统的分布式文件系统大多通过元服务器来 ......
[安乐椅#15] 杨辉三角质数分布性质
性质内容 在杨辉三角中，质数仅存在于第2层。 性质证明 | $C_n^m$ | \frac{0}{1} | 1 | 2 | 3 | 4 | 5 | 6 | 7 | | : : | : : | : : | : : | : : | : : | : : | : : | : : | | 0| | | | | ......
非线性优化理论（求极小值）
梯度下降法 迭代条件： 梯度下降法的缺点： 初值的确定影响着迭代的快慢。 步长过小可能要好多步才能到达极小值 步长过大或则算法多次迭代后，可能导致在两个值之间反复振荡，收敛速度较慢 可以迭代的前期使用梯度下降法 牛顿法 迭代条件 证明： 牛顿法相对于梯度下降法 函数在较陡的地方梯度变化就会比较快，这 ......
分布式锁和事务
###1.分布式锁的实现方式？ 1.基于数据库实现 -mysql行锁 2.基于zookeeper -CP模式 3.基于Redis setnx实现 -AP模式 4.Redis框架 Redission，RedisLock 要求：保证一致性 zk实现分布式锁 保证可用性 redis实现分布式锁 2.Zoo ......
jmeter分布式测试安装部署步骤
一、下载linux版本的jdk 注：下载的jdk和jmeter要与window的jdk和jmeter一致 下载地址：https://www.oracle.com/java/technologies/downloads/#java11 二、在虚拟机中使用su root 超级管理员的账号进行操作，在/u ......
44、K8S-调度机制-理论知识
1、调度体系 1.1、流程图 1.1.1、架构层面-集群的组成 1.1.2、资源层面-k8s集群资源的管控 1.1.3、网络层面 - k8s集群资源的访问 1.1.4、认证层面-k8s集群资源的认证 1.1.5、pod周期-pod创建的完整流程 1.1.6、pod创建流程 1.1.7、存储层面 1. ......
Redis 使用Redisson+Rlock实现分布式锁
使用setnx+Lua脚本实现分布式锁会有一个问题：如果操作共享资源的时间大于过期时间，就会出现锁提前过期的问题，进而导致分布式锁直接失效。如果锁的超时时间设置过长，又会影响到性能。 如果操作共享资源的操作还未完成，锁过期时间能够自己续期就好了 对这个问题 Redisson 提供了现成的解决方案。 ......
Jmeter搭建分布式压测环境
最近在做性能测试，本来以为一台压力机就够啦，但是在压测一个查询接口的时候，当TPS达到500多的时候就开始报错，经过定位是压力机出现啦瓶颈，于是决定对压力机做一下分布式，经过调试环境部署成功，再次压测时候问题解决。下面记录一下部署分布式环境的过程。 使用的工具及版本： JDK：1.8.0_211 J ......
分布式系统——分布式ID方案
分布式ID介绍 在分布式系统中，我们经常需要生成全局唯一的标识符，例如订单号，用户id，消息id等。这些标识符通常被称为分布式id。分布式id有以下几个常见的要求： 全局唯一：不同的节点或服务不能生成重复的id。 高性能：生成id的速度要快，不能成为系统的瓶颈。 低延迟：生成id的过程要尽可能简单， ......
分布式系统——并发条件下如何保证缓存与DB数据一致性
什么是数据一致性 我们常说的数据一致性指的是在程序运行过程中本地缓存、分布式缓存、数据库三者之间的数据一致性 常见的本地缓存有 hashmap、currenthashmap、guava cache、caffeine 分布式缓存常见的有 redis、memcache 常见数据不一致常见有： 本地缓存与 ......
1、分库分表基础理论（一）
在高性能系统的要求下，复杂的系统当单表数据量增加到几千万甚至上亿条记录时，查询延迟无疑是影响高性能系统的瓶颈。业内提供的解决的方案是分库分表，冷热数据分离。 一、分库分表： 1、垂直分片： 按照业务维度将表拆分到不同的数据库，专库专用，分担数据库压力 2、水平分片： （1）、水平分库 以字段为依据， ......
多维随机变量及其分布
《二维随机变量》 注意 在分布函数中 P{X<=x 且 Y<=y} 而且有性质： 这个性质在求概率密度的未知数时有用 这个公式结合一下二维前缀和算法就能很好明白了 《二维离散型随机变量》 注意一下分布律的求法，其中的概率记住：X与Y是 且 《二维连续型随机变量》 具体练习看书P65 《高数知识》 到 ......
Hive 如何巧用分布函数percent_rank()剔除极值求均值
场景描述 前期写过一篇关于剔除订单极值求订单均值的案例，之前使用的是 dense_rank 函数对订单金额进行排序后，过滤掉最大值最小值后进行处理，最近工作刚好使用到分布函数percent_rank，想起来应该也可以用到这个场景； percent_rank() 简介 percent_rank() 函 ......
分布式系统——基于Redis的分布式锁的实现
分布式锁的介绍 分布式锁是分布式系统中用于协调多个进程或线程之间并发访问共享资源的一种机制。在分布式系统中，由于各个节点之间的通信存在延迟、故障等问题，可能会导致数据的不一致性。为了保证数据的一致性，需要使用分布式锁来协调各个节点的并发访问。 在分布式系统中，多个节点同时访问共享资源可能会导致以下问 ......
大数据经典论文解读 - 分布式锁 Chubby
Chubby 在谷歌“三驾马车”中3个系统都是单Master系统，这个Master是系统的单点，一旦Master故障集群就无法提供服务。使用Backup Master，通过监控机制进行切换。但是： 如何实现Backup Master和Master完全同步？ 监控程序也是单点，如何确定是Master宕 ......
git 、 github 相关理论知识
什么是git：是一个免费、开源的版本控制软件 问：什么是版本控制软件 答：是一种记录一个或者若干个文件内容变化，以便将来查阅特定版本修订情况的系统 什么是github：是一个网站，该网站可以创建仓库，存放项目代码 全球最大 社交编程 以及 代码托管 的网站 设置用户名 git config --gl ......