分布式 现状 理论
分布式锁
上一篇文章简单的介绍了单机的情况下如何进行加锁，防止高并发带来的问题。然而现实中，一般会高并发的应用，很少会单机部署。当用户量达到一定的程度，分布式、集群部署是必然的选择。在分布式部署的情况下，之前的单机锁还会有效吗？代码还是之前的代码： private static object lck = ne ......
每日一题003 | 证明：连续分布函数序列的点态收敛可以推出相应的分位数随机变量序列的依概率收敛。
?概率极限理论经典习题2：连续分布函数序列的点态收敛可以推出相应的分位数随机变量序列的依概率收敛。来自茆诗松《概率论与数理统计》第四章的习题。 ......
python 数据可视化：直方图、核密度估计图、箱线图、累积分布函数图
python数据可视化，以2023年数学建模c题数据为例，选择其中一小部分数据，绘制直方图、核密度估计图、箱线图、累积分布函数图 ......
Unity实现Voronoi图（性能友好，分布较为均匀
这是一种性能友好的并且生成较为均匀的Voronoi图的实现方式 在一张网格中生成随机点，然后在取每个点周围点就不需要去做全局遍历，在自己周围的格子遍历即可 using UnityEngine; using UnityEngine.UI; public class VoronoiDiagram : M ......
【第3章】密码学基本理论（信息安全工程师软考）
3.1 密码学概况 3.1.1 密码学发展简况 密码学是一 门研究信息安全保护的科学，以实现信息的保密性、完整性、可用性及抗抵赖性。密码学主要由密码编码和密码分析两个部分组成。 密码编码学研究信息的变换处理以实现信息的安全保护，而密码分析学则研究通过密文获取对应的明文信息。 目前，密码成为网络与信息 ......
代码随想录算法训练营第六天 |● 哈希表理论基础 ● 242.有效的字母异位词 ● 349. 两个数组的交集 ● 202. 快乐数 ● 1. 两数之和
今日学习的文章链接和视频链接 https://programmercarl.com/哈希表理论基础.html 242.有效的字母异位词 var isAnagram = function(s, t) { if(s.length !== t.length) return false let map = ......
记录代码审查发现的一处分布式锁错误用法
今天测试反应在商品入库存的时候会出现一个偶现的问题，多次入库后，突然发现商品的库存量是乱的，但是专门针对这个功能去测试的时候，却发现功能又是正常的，无法稳定复现问题，测试希望开发审查下代码看下是哪里的原因。 于是开发我们立马定位到商品入库存的那段代码，大致代码如下： 1 @Transactional ......
Redis之分布式锁
前言 日常开发中，秒杀下单、抢红包等等业务场景，都需要用到分布式锁。而Redis非常适合作为分布式锁使用。 什么是分布式锁 方案一：SETNX + EXPIRE 方案二：SETNX + value值是（系统时间+过期时间） 方案三：使用Lua脚本(包含SETNX + EXPIRE两条指令) 方案四： ......
分布式核心
1. CAP理论 cap理论是分布式系统的理论基石 Consistency (一致性)： “all nodes see the same data at the same time”,即更新操作成功并返回客户端后，所有节点在同一时间的数据完全一致，这就是分布式的一致性。一致性的问题在并发系统中不可避 ......
Hadoop学习(一) 搭建伪分布式集群
文章结构 1.准备工作 1.1 配置IP 1.2 关闭防火墙 1.3 修改主机名并与IP绑定 1.4 创建新用户 1.5 配置免密匙 2.安装并配置Hadoop伪分布式集群 2.1 安装Java 2.2 安装配置Hadoop伪分布式集群 1.准备工作 1.1 配置IP 首先进入该路径下 cd /et ......
Apache Kylin4 分布式的分析型数据仓库
https://kylin.apache.org/cn/docs/index.html Apache Kylin4 概述 欢迎来到 Apache Kylin™ Analytical Data Warehouse for Big Data Apache Kylin™是一个开源的、分布式的分析型数据仓库 ......
独立同分布
"独立同分布" 是统计学和机器学习中一个重要的概念。让我们更详细地探讨这个概念的含义： 独立性（Independence）： 独立性的意义： 当我们说随机变量是独立的时，意味着一个随机变量的取值不会提供关于另一个随机变量取值的任何信息。换句话说，知道一个随机变量的取值并不会改变对另一个随机变量的预测 ......
SignalR 分布式部署
分布式部署意味着有多台SignalR服务器，一台服务器有多个客户端连接。 SignalR 要求对于某一个特定连接的所有HTTP 请求都需要被一个相同服务进程处理，当SignalR 运行在一个服务场时（多个服务器），则必须使用“粘性会话”（服务器开启）或者”跳过协商“（用websocket） 问题：某 ......
一、如何构建一个可靠的分布式系统？
构师如何才能让一系列来自不同开发者、不同厂商、不同版本、不同语言、质量也良莠不齐的软件模块，在不同的物理硬件和拓扑结构随时变动的网络环境中，依然能保证可靠的运行质量。 我一直认为，技术人员的成长是有“捷径”的，做技术不仅要去看、去读、去想、去用，更要去写、去说。 把自己“认为掌握了的”知识给叙述出来 ......
分布式应用服务的拆分
需求落地分布式应用服务 将需求转化为分布式应用服务的过程可以按照以下步骤进行： 理解需求：首先，你需要仔细阅读和理解业务需求。与相关的利益相关者（如业务分析师、产品经理等）进行沟通，确保你对需求的理解是准确的。 设计架构：根据需求，设计一个适合的分布式应用架构。这包括确定应用的组件和模块，以及它们之 ......
性能理论-软件性能的基本指标（三）
性能测试指标细分为业务指标、资源指标、应用指标、前端指标。 业务指标 并发用户数、TPS（系统每秒处理事务数）、成功率、响应时间 资源指标 CPU 资源利用率、内存利用率、I/O 应用指标 空闲线程数、数据库连接数、GC/FULL GC 次数、函数耗时等。 前端指标 页面加载时间，网络时间（DNS， ......
性能理论-软件性能测试的目标（五）
软件性能测试的目标是验证软件系统是否能够达到用户提出的性能指标，同时发现软件系统中存在的性能瓶颈，优化软件，最终起到优化系统的目的。 软件性能测试包括以下几个方面的内容。 评估系统的能力 测试中得到的负荷和响应时间数据可以被用于验证所计划的模型的能力，并帮助作出决策。 识别体系中的弱点 受控的负荷可 ......
性能理论-软件性能测试方法论（四）
软件性能测试方法论 性能测试方法主要包括 SEI 负载测试计划过程和 RBI 方法。 1. SEI 负载测试计划过程 SEI 负载测试计划过程（SEI Load Testing Planning Process）是一个关注于负载测试计划的方法，其目标是产生清晰、易理解、可验证的负载测试计划。SEI ......
性能理论-性能测试类型（二）
性能测试类型 对于性能测试的分类，业界有很多标准，而对每个类型的诠释也有一些差别。 从狭义来看，性能测试主要用于描述常规的性能测试，是指通过模拟生产运行的业务压力或用户使用场景来测试系统的性能是否满足生产性能的要求。 从广义来看，性能测试则是压力测试、负载测试、强度测试、容量测试、大数据量测试、基准 ......
Redisson分布式锁的实现
分布式锁 在多线程环境下，如果多个线程同时访问共享资源（数据库），往往会发生数据竞争。要想在某一线程访问资源时，令其他线程阻塞等待，就需要使用分布式锁，确保共享资源同时只有一个线程访问。 实现思路： 向Redis中插入同一key： A插入key，如果成功则获取到锁，B再来插入式发现key已经存在了， ......
云原生雪花改进型分布式id服务
1，概述 一个基于雪花改进型分布式id基础服务 demo地址：http://uid.activeclub.site/web/v1/uuid/get 1.1，入参样例： 请求路径：GET http://{url}:{port}/web/uuid/get 入参说明： 类目 字段名 说明 url 对外暴露 ......
GJK算法理论
原理 GJK算法的核心就是闵可夫斯基差，即若两个多边形相交，则它们的闵可夫斯基差必然包括原点。 闵可夫斯基差 用多边形A的所有点，减去多边形B中所有的点得到的一个点集合（是点之间两两相减后得到的集合，而不是做集合的差集）。A–B = {a–b∣a ∈ A, b ∈ B} 在碰撞检测中，不会用到完整的 ......
【交换机、路由器、双码流、分布式、VKM的基本概念学习】
分布式节点： 分布式就是把传统的音视频设备矩阵切换器、拼接处理器、录播系统、KVM切换器、中央控制系统等这些设备的功能打包成一个等于X功能的节点，然后每个信号输入输出的区域，布置一个这样的X节点，在通过一条网线接到交换机，实现上述的各种功能。 可视化： 可视化是利用图像传输和处理技术，让用户能够直观 ......
HarmonyOS分布式文件系统开发指导
分布式文件系统概述 分布式文件系统（hmdfs，HarmonyOS Distributed File System）提供跨设备的文件访问能力，适用于如下场景： ● 两台设备组网，用户可以利用一台设备上的编辑软件编辑另外一台设备上的文档。 ● 平板保存的音乐，车载系统直接可见并可播放。 ● 户外拍摄的 ......
scrapy解析数据、配置文件、整站爬取cnblogs=》爬取详情=》数据传递、持久化、爬虫中间件和下载中间件、scrapy继承selenium、源码去重规则（布隆过滤器）、分布式爬虫
scrapy解析数据 ##### 运行爬虫 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) # ......
简单理解分布式存储
简单理解分布式存储 Ceph基础 Ceph是一个开源的分布式存储系统，旨在提供高度可扩展性、高可用性和数据容错性的存储解决方案。Ceph的设计和架构非常复杂，深入理解Ceph需要掌握以下关键概念和组件： Ceph集群：Ceph集群是由多个节点组成的，包括监控器（MONs）、对象存储设备（OSDs）和 ......
分布式和集群概念
分布式和集群概念 分布式：每台机器上部署不同组件集群：每台机器上部署相同组件 大数据分布式存储、分布式计算 linux 桌面操作系统：mac os、windows、linux嵌入式操作系统：μlinux、wince、RTOS服务器操作系统：unxi、linux、Windows server、netw ......
爬虫中间件和下载中间件，scrapy集成selenium，源码去重规则（布隆过滤器），分布式爬虫
1 爬虫中间件和下载中间件 ⏳ 1.1 爬虫中间件(一般不用) # 第一步：写个爬虫中间件类 class ScrapyDemoSpiderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by ......
2023年人工智能发展现状报告：State of AI Report 2023
链接： https://www.stateof.ai/ Now in its sixth year, the State of AI Report 2023 is reviewed by leading AI practioners in industry and research. It cons ......
kube-controller-manager加分布式锁
k8s v1.19.0 kube-controller-manager加分布式锁lease，完成leader选举，与kube-scheduler相同。 cmd/kube-controller-manager/app/controllermanager.goRun函数 staging/src/k8s. ......