分布式 体系
分布式架构-API网关
参考：https://developer.aliyun.com/article/1199004?utm_content=g_1000371169 API网关核心能力 统一域名证书 鉴权：访问认证鉴权、JWT鉴权（Token）、第三方鉴权（用户配置自己的鉴权服务为API的访问进行鉴权，API网关在调用 ......
分布式光监测系统的应用
安科瑞虞佳豪 分布式光伏发电系统应用范围：可在农村、牧区、山区，发展中的大、中、小城市或商业区附近建造，解决当地用户用电需求。 分布式光伏发电系统，又称分散式发电或分布式供能，是指在用户现场或靠近用电现场配置较小的光伏发电供电系统，以满足特定用户的需求，支持现存配电网的经济运行，或者同时满足这两个方 ......
vivo 服务端监控体系建设实践
经过几年的平台建设，vivo监控平台产品矩阵日趋完善，在vivo终端庞大的用户群体下，承载业务运行的服务数量众多，监控服务体系是业务可用性保障的重要一环，监控产品全场景覆盖生产环境各个环节。从事前发现，事中告警、定位、恢复，事后复盘总结，监控服务平台都提供了丰富的工具包。从以前的水平拆分，按场景建设 ......
Celery - 分布式任务队列
Celery - 分布式任务队列 1 celery简介 1.1 什么是celery Celery是一个用Python编写的分布式任务队列框架。它允许开发者将任务分发到多台服务器或进程中执行，从而实现高效的异步任务处理。 Celery框架基于消息传递实现，任务可以在多个节点之间异步传递和执行，这大大提 ......
分布式有状态服务的调度技术预研报告
1. 研究项目背景 平台版本建设中，为了充分发挥视频分析引擎性能，需要针对业务特点，现有的分布式调用方式无法满足需求，需要研究分布式服务的有状态调用实现。 2. 技术现状分析 2.1 分布式有状态服务调度技术的发展历程 固定分配 最初的分布式有状态服务调度技术采用固定分配的方式，即将每个服务实例分配 ......
DAMA数据管理知识体系指南（3）：数据治理（转载）
一、数据治理语境关系图 1、数据管理和数据治理 在正式讲数据治理之前，先区分下数据管理和数据治理的区别。数据管理的整体驱动力是确保组织可以从其数据中获得价值，更多是总体战略的层面；数据治理聚焦于如何制定有关数据的决策，以及人员和流程在数据方面的行为方式，更多是细节执行层面。 2、数据治理整体介绍 数 ......
DAMA数据管理知识体系指南（1）：数据管理（转载）
数据管理是DMBOK的第一章，该章高度概括了整本书的内容，梳理了数据管理的领域、环境因素、基本原则、实现路径等知识内容。有关DABOK的综述和学习方法可以参考：DAMA数据管理知识体系指南（0）：综述 & 学习指南。 一、数据管理的原则 1、整体原则解读 上图已经基本表达了在数据管理过程中，所需要遵 ......
11 11｜法则五：架构师为什么要关注技术体系的外部适应性？
你好， 我是郭东白。 前四条法则分别讲了目标、资源、人性和技术周期，这些都与架构活动的外部环境有关。那么今天我们来讲讲在架构活动内部，也就是在架构师可控的范围内，应该遵守哪些法则。今天这节课，我们就先从技术体系的外部适应性讲起。 达尔文说过：“既不是最强壮的也不是最聪明的物种，而是最适应变化的物种最 ......
8 07 | 海量数据处理技术回顾：为什么分布式会遇到 CAP 难题？
你好，我是李智慧。 在这个模块的几个案例中，我们都需要处理海量的数据，需要用到海量的存储介质，其实海量数据本质上就是一种磁盘资源敏感的高并发场景。 我们说过，为了应对资源不足的问题，我们常采用水平伸缩，即分布式的方案。数据存储的分布式问题是所有分布式技术中最具挑战性的，因为相对于“无状态”（stat ......
BP神经网络的数据分类预测和故障信号诊断分类matlab代码 ，直接运行出数据分类结果和误差分布，注释详细易
BP神经网络的数据分类预测和故障信号诊断分类matlab代码 ，直接运行出数据分类结果和误差分布，注释详细易读懂，可直接套数据运行。PS：基于遗传算法的BP神经网络数据分类预测，基于PNN概率神经网络数据分类matlab等。 ID:9639629797361519 ......
MATLAB代码：分布式电源接入对配电网影响分析
MATLAB代码：分布式电源接入对配电网影响分析关键词：分布式电源 配电网 评估 参考文档：《自写文档，联系我看》参考选址定容模型部分；仿真平台：MATLAB 主要内容：代码主要做的是分布式电源接入场景下对配电网运行影响的分析，其中，可以自己设置分布式电源接入配电网的位置，接入配电网的有功功率以及无 ......
vivo积分任务体系的架构演进-平台产品系列05
积分体系作为一种常见营销工具，几乎是每一家企业会员营销的必备功能之一，在生活中随处可见，随着vivo互联网业务发展，vivo积分体系的能力也随之得到飞速提升，本篇主要介绍vivo积分任务体系的系统建设历程。 ......
用了这么多年Rust终于搞明白了内存分布！
Rust作为一门学习曲线十分陡峭的语言，掌握其核心基础数据结构的内存分布对学习Rust会有很大的帮助，本文由浅入深仔细介绍了Rust的各个数据结构在内存中的分布情况。 ......
《分布式任务调度平台XXL-JOB》
文档地址 https://www.xuxueli.com/xxl-job/ 中文文档 English Documentation 源码仓库地址 源码仓库地址Release Download https://github.com/xuxueli/xxl-job Download http://gite ......
分布式kv存储系统之etcd集群管理
leader选举过程是这样的；首先candidate向集群其他候选节点（condidate角色的节点）发送投票信息（Request Vote），默认是投票给自己；各候选节点相互收到另外的节点的投票信息，会对比日志是否比自己的更新，如果比自己的更新，则将自己的选票投给目的候选人，并回复一个包含自己最新... ......
分布式锁
一、什么是分布式锁？为什么需要分布式锁 锁，是用来保证线程或进程同步的工具，用于控制对共享资源的访问。 分布式锁也是锁的一种。普通的锁（例如Java中的Synchronized和ReentrantLock）无法用在多个进程中，此时就需要分布式锁来控制分布式系统对共享资源的访问。 在Java开发的分布 ......
python自动下载pdf文件—可分布下载=.= 一个demo
代码如下： import io import requests def download_pdf(save_path,pdf_name,pdf_url): send_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64 ......
终于有人把openGauss3.0.0分布式原理讲透了，openGauss X ShardingSphere分布式原理和部署
本文为原理精讲，部署文章链接如下 https://www.cnblogs.com/opengauss/p/17364285.html 一、opengauss 的背景和行业现状 2022 年，七大 openGauss 商业版发布，是基于 openGauss3.0 推出商业发行版 目前海量数据库 Vas ......
从分布式共识算法到区块链共识机制
英文原文链接：https://medium.com/datadriveninvestor/from-distributed-consensus-algorithms-to-the-blockchain-consensus-mechanism-75ee036abb65 From Distributed ......
分布式共识如何工作？
英文原文链接：https://medium.com/s/story/lets-take-a-crack-at-understanding-distributed-consensus-dad23d0dc95 How Does Distributed Consensus Work? 区块链技术关键突破概 ......
分布式事务
分布式理论 CAP理论 在一个分布式系统中，一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance），这三个要素最多只能同时实现两点，不可能三者兼顾。由于P(分区容错）是必选项，所以只能在AP或者CP中选择。 一致性（Consiste ......
为什么要使用分布式锁（通过redis实现）
如果需要使用到缓存机制，那就存在着这三个问题： * 1、缓存穿透问题：（全部访问redis中不存在的信息），解决方式：在redis中将数据库中没有的数据暂时赋值为null * 2、缓存雪崩问题：（redis中的key在同一时间大幅度的过期），解决方式：在redis中存入数据的时候，传入一个随机值作为 ......
三、linux核心目录结构体系与第二波命令
1.linux目录结构体系 1.1 linux目录结构概述 /根目录 存放系统信息，软件，命令。 /usr/ 存放用户信息，软件，命令。 后期详细规定了/下面要有什么目录，目录作用是什么 规定：FHS目录结构层次标准 1.2linux根下的核心目录 [root@lichengbo-xuexi ~]# ......
Irwin-Hall 分布学习笔记
定理：Irwin-Hall 分布 对于 $n$ 个在 $[0,1]$ 内均匀分布的实数随机变量，它们的和不超过一个实数 $z$ 的概率为： $$ F(z)=\sum\limits_{k=0}^{\lfloor z\rfloor} (-1)^k\binom{n}{k}\frac{(z-k)^n}{n! ......
redis分布式锁
加锁 1 判断锁是否被占用,没有则获取锁(hset/hincrby)并设置过期时间(expire) 2 如果锁被占用,则判断是否是当前线程占用,如果是则重入(hincrby)并重置过期时间 3 否则获取锁失败 释放锁 1 判断自己的锁是否存在(hexists),不存在返回nil 2 如果存在则减1( ......
分布式调度XXL-JOB
#1. Spring提供的定时任务调度SpringTask Spring3.0以后自主开发的定时任务工具，spring task，可以将它比作一个轻量级的Quartz，而且使用起来很简单，除spring相关的包外不需要额外的包，而且支持注解和配置文件两种形式。 视频教程：https://www.bi ......
Hadoop全分布配置
1.实验一：hadoop 全分布配置 1.1. 实验目的 完成本实验，您应该能够： 掌握 hadoop 全分布的配置 掌握 hadoop 全分布的安装 掌握 hadoop 配置文件的参数意义 1.2. 实验要求 熟悉 hadoop 全分布的安装 了解 hadoop 配置文件的意义 1.3. 实验环境 ......
文章学习：TPRE：分布式门限代理重加密
学习文章：TPRE：分布式门限代理重加密 前言 成方金科新技术实验室与隐语团队合作，构建了“基于国密的分布式门限代理重加密算法TPRE”，为用户提供了一种安全、高效、自主可控的数据共享和授权管理方案。在数据隐私保护和数据安全共享方面具有广泛的应用前景。 ⚠️：该算法由成方金科密码学研究员张曙光（知乎 ......
openGauss分布式安装_搭建_快速部署openGauss3.0.0分布式（openGauss课程）
一、opengauss 的背景和行业现状 2022 年，七大 openGauss 商业版发布，是基于 openGauss3.0 推出商业发行版 目前海量数据库 Vastbase 表现最佳，一直是 TOP 1 作者认为之所以海量数据库 Vastbase 目前无法被同行超越，和各家研发实力和技术背景有关 ......