分布式 理论
为什么要使用分布式锁（通过redis实现）
如果需要使用到缓存机制，那就存在着这三个问题： * 1、缓存穿透问题：（全部访问redis中不存在的信息），解决方式：在redis中将数据库中没有的数据暂时赋值为null * 2、缓存雪崩问题：（redis中的key在同一时间大幅度的过期），解决方式：在redis中存入数据的时候，传入一个随机值作为 ......
Irwin-Hall 分布学习笔记
定理：Irwin-Hall 分布 对于 $n$ 个在 $[0,1]$ 内均匀分布的实数随机变量，它们的和不超过一个实数 $z$ 的概率为： $$ F(z)=\sum\limits_{k=0}^{\lfloor z\rfloor} (-1)^k\binom{n}{k}\frac{(z-k)^n}{n! ......
气体分子动理论
现在开始讨论一个新的课题：从“物质由大量原子组成，它们之间存在着电相互作用，并遵从力学定律”这种物理观点出发，我们企图了解为什么不同的原子集合会表现出它们所具有的特色。这是一个困难的课题，它和力学和电学有着很大的不同：在学习力学和电学的过程中，我们能够从某些基本定律出发本质地理解一大批现象，再以这些 ......
redis分布式锁
加锁 1 判断锁是否被占用,没有则获取锁(hset/hincrby)并设置过期时间(expire) 2 如果锁被占用,则判断是否是当前线程占用,如果是则重入(hincrby)并重置过期时间 3 否则获取锁失败 释放锁 1 判断自己的锁是否存在(hexists),不存在返回nil 2 如果存在则减1( ......
分布式调度XXL-JOB
#1. Spring提供的定时任务调度SpringTask Spring3.0以后自主开发的定时任务工具，spring task，可以将它比作一个轻量级的Quartz，而且使用起来很简单，除spring相关的包外不需要额外的包，而且支持注解和配置文件两种形式。 视频教程：https://www.bi ......
Hadoop全分布配置
1.实验一：hadoop 全分布配置 1.1. 实验目的 完成本实验，您应该能够： 掌握 hadoop 全分布的配置 掌握 hadoop 全分布的安装 掌握 hadoop 配置文件的参数意义 1.2. 实验要求 熟悉 hadoop 全分布的安装 了解 hadoop 配置文件的意义 1.3. 实验环境 ......
文章学习：TPRE：分布式门限代理重加密
学习文章：TPRE：分布式门限代理重加密 前言 成方金科新技术实验室与隐语团队合作，构建了“基于国密的分布式门限代理重加密算法TPRE”，为用户提供了一种安全、高效、自主可控的数据共享和授权管理方案。在数据隐私保护和数据安全共享方面具有广泛的应用前景。 ⚠️：该算法由成方金科密码学研究员张曙光（知乎 ......
openGauss分布式安装_搭建_快速部署openGauss3.0.0分布式（openGauss课程）
一、opengauss 的背景和行业现状 2022 年，七大 openGauss 商业版发布，是基于 openGauss3.0 推出商业发行版 目前海量数据库 Vastbase 表现最佳，一直是 TOP 1 作者认为之所以海量数据库 Vastbase 目前无法被同行超越，和各家研发实力和技术背景有关 ......
二、分布式基础概念--谷粒商城
1.微服务服务架构风格，就像是把一个单独的应用程序开发为一套小服务，每个小服务运行在自己的进程中，并使用轻量级机制通信，通常是HTTP API。这些服务围绕业务能力来构建，并通过完全自动化部署机制来独立部署。这些服务使用不同的编程语言书写，以及不同数据存储技术，并保持最低限度的集中式管理简而言之：拒 ......
SequoiaDB分布式数据库2023.4月刊
本月看点速览 赋能产业升级，荣获新睿之星 聚焦金融，进一步探索非结构化数据价值释放 再获肯定，入选2023年中国最佳信创厂商入围名单 青杉计划2023已开启，一起攀登更高的“杉” 赋能产业升级，荣获新睿之星 4月18日，2023年第九届广州国际投资年会在广州白云国际会议中心成功举办。会中，南沙为涵盖 ......
.NET开源分布式锁DistributedLock
一、线程锁和分布式锁 线程锁通常在单个进程中使用，以防止多个线程同时访问共享资源。 在我们.NET中常见的线程锁有： 自旋锁：当线程尝试获取锁时，它会重复执行一些简单的指令，直到锁可用 互斥锁: Mutex，可以跨进程使用。Mutex 类定义了一个互斥体对象，可以使用 WaitOne() 方法等待对 ......
redisson 分布式锁
@RequestMapping(value = "/testLock", method = RequestMethod.POST) public BaseResponse<Boolean> testLock(@RequestBody TestLockRequest testLockRequest) ......
织密“安全云网”，天翼云探索构建分布式多场景云服务稳定性保障体系！
近日，中国信息通信研究院（以下简称“中国信通院”）主办，混沌工程实验室承办的信息通信领域系统稳定性保障沙龙·北京站成功举办。沙龙以“共筑数字免疫韧性长城，助力信息通信行业稳定安全运行”为主题，旨在促进信息通信领域系统稳定性保障技术交流，推动信息通信领域稳定安全运行水平提升，加强“稳保”领域的先进技术 ......
如何计算 两个beta分布的KL散度
读论文 Sequential Recommendation with Probabilistic Logical Reasoning 中碰到的问题。 结论大概是这样： 对于Beta分布，KL散度的公式为： $$D_{KL}(Beta(\alpha_1, \alpha_2)||Beta(\beta_1 ......
正态分布可视化
正态分布可视化 可视化函数 def set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend): """设置matplotlib的轴""" axes.set_xlabel(xlabel) axes.set_ylabel(yla ......
POT超阈值模型和极值理论EVT分析|附代码数据
全文链接：http://tecdat.cn/?p=16845 最近我们被客户要求撰写关于极值理论的研究报告，包括一些图形和统计输出。 本文依靠EVT对任何连续分布的尾部建模。尾部建模，尤其是POT建模，对于许多金融和环境应用至关重要 POT模型其主要动机是为高洪水流量的概率模型提供实用工具。但是，E ......
如何借助分布式存储 JuiceFS 加速 AI 模型训练
传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像 JuiceFS 这样的分布式存储并不是必需品。 随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。AI 团队通常会面临以下几种问题： 数据集太 ......
redis完成分布式锁
1. 正文 1. Redis完成分布式锁 2. redis的面试题。 2. 缓存 当执行增删改操纵时必须保证缓存和数据库数据一致性。 删除缓存 @Override public Dept insert(Dept dept) { int i = deptMapper.insert(dept); ret ......
Redis - -分布式锁
Redis完成分布式锁 # 1.1 缓存 > 当执行增删改操纵时必须保证缓存和数据库数据一致性。 删除缓存 ```java @Override public Dept insert(Dept dept) { int i = deptMapper.insert(dept); return dept; ......
分布式编译系统的搭建
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。 作者：dan 文章来源：GreatSQL社区原创 由于MySQL 源码编译单机耗费的时间过于长，最近MySQL 变成8.0.27 以后编译时间明显更耗时 ......
滑动窗口算法实现分布式第三方请求限频
一. 业务背景 第三方服务接口存在频率调用限制（例如，1s5次，超过5次返回超出频率），己方服务存在并发处理的情况，为了保证服务的成功率，且达到第三方限制的最大吞吐量，故需要一个限频调用的算法 二.实现思路 常见限频算法一般有五种，漏桶算法、令牌桶算法、固定窗口算法，滑动窗口算法，漏斗算法，五种算各 ......
基于ovs+tk+KVM的分布式隔离网络建立
直接上代码 import subprocess import tkinter as tk from tkinter import messagebox import libvirt import re host_ip = '172.27.243.60' # 获取VLAN标签 def get_vlan ......
03-3 燃烧系统分析方法与着火理论：零维燃烧系统热工况、一维系统
零维系统 一维系统 一维系统：系统中在气流的横截面上温度、浓度等参数是均匀的，仅沿气流方向这些参数才有变化。一维系统中可以对气流燃烧过程进行计算 。（一维炉系统图） ......
下一代大数据分布式存储技术Apache Ozone初步研究
如果还在为HDFS上存储海量的小文件而烦恼，不烦多留意号称下一代分布式存储技术Apache Ozone，其诞生初衷就是解决HDFS面临棘手问题，本篇从了解其特性和总体架构，基于开发测试需求通过docker和docker-compose方式启动Ozone本地集群，最后通过命令行接口和兼容hadoop命... ......
03-2 燃烧系统分析方法与着火理论：自燃的孕育时间、强迫点燃理论
热自燃孕育时间 定义 直观意义：指可燃物质由开始反应到燃烧出现的一段时间。 定义：在可燃物质已达到着火的条件下，由初始状态到温度骤升的瞬间所需的时间。 图示着火孕育时间： 散热系数对于着火孕育时间的影响：可以看出散热系数太大，会使拐点消失，永远不会着火 强迫点燃理论 强迫点燃和热自燃 强迫点燃的参数 ......
03-1 燃烧系统分析方法与着火理论：热自燃基本模型、影响热自燃的因素
热自燃条件 第一步：作出假设 以封闭容器内可燃物质的着火过程为例，来分析热自燃问题。作出以下假设： 只有热反应，不存在链式反应； 容器的体积V和表面积F为定值； 容器内的参数（如温度浓度等）处处相同； 容器与环境之间仅存在对流换热，α为定值； 可燃物质的反应热Q为定值； 在整个着火过程中，可燃物质浓 ......
【动手学深度学习】第四章笔记：多层感知机、权重衰减、暂退法、数值稳定性和模型初始化、环境和分布偏移
为了更好的阅读体验，请点击这里 4.1 多层感知机 4.1.1 隐藏层 由于仿射变换中的线性是一个很强的假设，因此导致了线性模型可能会不适用。线性意味着单调假设：任何特征的增大都会导致模型输出的增大或者模型输出的减小。 但是违反单调性的例子比比皆是。除此之外，分类任务中，仅依托像素强度分类也很不合理 ......
ray-分布式计算框架-集群与异步Job管理
0. ray 简介 ray是开源分布式计算框架，为并行处理提供计算层，用于扩展AI与Python应用程序，是ML工作负载统一工具包 Ray AI Runtime ML应用程序库集 Ray Core 通用分布式计算库 Task -- Ray允许任意Python函数在单独的Python worker上运 ......
matlab学习笔记9 随机变量与概率分布
##概率分布函数 下图的函数作用是求某点处的B(n,p)的概率，横坐标为实验所得值，即x，从中可见e(x)=12 unidpdf(k,N)为均匀分布函数的概率密度在随机范围为1到N的正整数中取k的概率,若需要离散的情况可改用unifpdf y=unidpdf(1:1:10,20)%unidpdf(k ......
[XXL-JOB] 分布式调度XXL-JOB快速上手
1.概述 1.1什么是任务调度 我们可以思考一下下面业务场景的解决方案: 某电商平台需要每天上午10点，下午3点，晚上8点发放一批优惠券 某银行系统需要在信用卡到期还款日的前三天进行短信提醒 某财务系统需要在每天凌晨0:10分结算前一天的财务数据，统计汇总 以上场景就是任务调度所需要解决的问题 任务 ......