分布式 体系
分布式事务--CAP理论
cap理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项 ......
04-分布式服务
一、分布式服务体系 （一）分布式系统概述 单体系统存在业务扩展性（任何业务的调整都需要发布整个系统）、性能扩展性（动态扩容对单体系统而言效率低下）、代码复杂度（修改一处代码容易引发连锁反应）的问题。 系统扩展性，指的是当系统的业务需求发生变化时，我们对现在系统改动程度的一种控制能力。改动程度 ......
分布式计算技术（下）：Impala、Apache Flink、星环Slipstream
实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎I ......
GFS分布式文件系统
一、GlusterFS分布式文件系统1、什么是GlusterFS及其术语GlusterFS：开源的分布式文件系统，由存储服务端和NFS/Samba(可选)存储网关、客户端组成，没有元数据服务器组件，数据横向扩展能力强，传输时硬件传输线使用光纤。 Brick（存储块）:指可信主机池中由主机提供的用于物 ......
我们为什么需要分布式系统？
这篇文章主要讨论我们为什么需要分布式系统，分布式系统帮助我们解决了复杂系统在成本、效率和高可用方面的问题，但同时它也在分布式计算和分布式存储方面带来了新的问题和挑战。 ......
Go 语言体系下的微服务框架选型：Dubbo-go
以 Dubbo-go 为中心的微服务体系在多个知名企业中成功落地和实践，框架的稳定性在实际场景下经受住了考验。 ......
摩尔定律失效--分布式能否解决硬件性能瓶颈
自英特尔的联合创始人戈登·摩尔（Gordon Moore）于 1965 年经过观察称每隔 18~24 个月，集成电路上可容纳的元器件数目便会增加一倍，芯片的性能也会随之翻一番.换言之，每一美元所能买到的电脑性能，将每隔18-24个月翻一倍以上。以他名字命名的「摩尔定律」便成了几十年来半导体行业进步背... ......
分布式计算技术（上）：经典计算框架MapReduce、Spark 解析
当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。分布式计算技术将一个大型任务切分为多个更小的任务，用多台计算机通过网络组装起来后，将每个小任务交给一些服务器来独立完成，最终完成这个复杂的计算任务。本篇我们介绍两个经典的计算框架MapReduce和Spark。 — MapR ......
分布式存储技术（下）：宽表存储与全文搜索引擎的架构原理、特性、优缺点解析
对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。 — 宽表存储 — 宽表 ......
Go 语言体系下的微服务框架选型: Dubbo-go
本文介绍了Go 微服务体系发展与选型，过去一年Dubbo-go 社区的飞速发展以及对未来的展望。 一、Go 微服务体系发展与选型 随着微服务技术的快速发展，其在各个领域都形成了一系列事实标准，在 Kubernetes 和容器技术加持下，云原生微服务已经成为了主流解决方案。而 Go 语言作为云原生领域 ......
ZooKeeper分布式应用程序协调服务
目录 一.ZooKeeper基本介绍 1.ZooKeeper是什么？ 2.ZooKeeper的工作机制 3.ZooKeeper的特点 4.ZooKeeper的数据结构 5.ZooKeeper的应用场景 5.1 统一命名服务 5.2 统一配置管理 5.3 统一集群管理 5.4 服务器动态上下线 5.5 ......
Zookeeper分布式服务协调组件
Zookeeper分布式服务协调组件 1.简介 Zookeeper是一个分布式服务协调组件，是Hadoop、Hbase、Kafka重要的依赖组件，为分布式应用提供一致性服务的组件。 Zookeeper是Hadoop、HBase、Kafka的重要依赖组件。 Zookeeper主要包含文件系统以及通知机 ......
SpringSecurity体系结构
我是通过松哥的博客学习SpringSecurity的，地址是http://itboyhub.com/2021/01/26/spring-security-guide/。对SpringSecurity的使用有了初步的认识。并根据松哥的博客跟了源码，但是每个人的思路不一样，看完之后还有点模糊。对其中的一 ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
分布式事务相关
###1.有遇到分布式事务？ 在RPC远程调用过程中，A调用B服务的接口后，A接口报错，无法回滚B接口的事务，最终造成A事务回滚，B事务没有回滚。 注：在单体架构中，如果存在多数据源，每个数据源都有自己独立的事务管理器，那么这时也会存在多数据源事务管理分布式事务的问题。解决方案：jta+Atomik ......
分布式消息系统RocketMQ
一、RocketMQ简介 Apache RocketMQ是一个采用Java语言开发的分布式的消息系统，由阿里巴巴团队开发，与2016年底贡献给Apache，成为了Apache的一个顶级项目。 在阿里内部，RocketMQ 很好地服务了 集 团大大小小上千个应用，在每年的双十一当天，更有不可思议的万亿 ......
正太分布数据排序后分段数据的方差与标准差
clc close num=46000; step=23000; n=num/step; arr=randn(num,1) * 8.239027791394347 + 70; std(arr) mean(arr) arr_s=sort(arr); s=zeros(step,n); std_arr=z ......
MLIR设计与Dialect体系分析
MLIR设计与Dialect体系分析 特定领域 GPU MLIR 设计 Domain-Specific Multi-Level IR Rewriting for GPU 论文原文: https://arxiv.org/pdf/2005.13014.pdf 项目地址: https://github.c ......
java学习日记20230410-集合框架体系
集合 数组的弊端： 长度开始时必须指定，而且一旦指定不能更改； 保存的必须为同一类型的元素； 使用数组进行增加元素的示意代码-比较麻烦； package com.study; import java.util.Arrays; /** * @author jay * @version 1.0 * @d ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 VaR方法作为当前业内比较流行的测量金融风险的方法,具有简洁,明了的特点,而且相对于方 ......
极值分析：分块极大值BLOCK-MAXIMA、阈值超额法、广义帕累托分布GPD拟合降雨数据时间序列|附代码数据
全文链接：http://tecdat.cn/?p=25348 最近我们被客户要求撰写关于极值分析的研究报告，包括一些图形和统计输出。 你们可能知道，实际极值分析有两种常用方法：分块极大值Block-maxima、阈值超额法threshold excess 今天，我们将分别介绍这两种方法。 分块极大值 ......
和 chatgpt 聊了一会儿分布式锁 redis/zookeeper distributed lock
前言 最近的 chatGPT 很火爆，听说取代程序员指日可待。 于是和 TA 聊了一会儿分布式锁，我的感受是，超过大部分程序员的水平。 Q1: 谈一谈 java 通过 redis 实现分布式 锁 chatGPT: Java通过Redis实现分布式锁，是在多个Java应用程序之间实现同步的一种方式。通 ......
一个原创宇宙学/盒子体系
首先，定义"多元宇宙"为一系列宇宙的集合。 单个宇宙是无穷大的，有无穷个这些宇宙中可能存在的规则（设无穷为$n$）。 每个宇宙可能存在或者不存在这些规则，"多元宇宙"包含规则所有存在以及不存在的情况，这样"多元宇宙"包含$2^n$个无穷大的宇宙。 然而看上去 ......
基于MATLAB的分布式mimo性能仿真,分析能量效率和频谱效率
1.算法描述 基于matlab的协作mimo分布式空时编码技术的仿真,包括规则LDPC级联D-STBC,ML,ZF,DFE均衡,Fincke-Pohst-MAP算法检测。将规则LDPC加入这个协作MIMO的D-STBC里，即是将LDPC码与D-STBC级联，发送端用LDPC编码发送到协作节点，然后协 ......
计算两个概率分布之间的距离(Hellinger距离)
Hellinger距离 介绍 Hellinger距离是一种用于度量概率分布之间相似度的指标。 在统计学和信息论领域中，它被广泛应用于分类、聚类、图像识别、文本分类等方面。 Hellinger距离又称为Bhattacharyya距离的平方根，它是两个概率分布之间的欧几里德距离的一半，其取值范围在0到1 ......
Laplace分布算子开发经验分享
摘要：Laplace 用于 Laplace 分布的概率统计与随机采样。 本文分享自华为云社区《Laplace分布算子开发经验分享》，作者：李长安。 1、任务解析 详细描述： Laplace 用于 Laplace 分布的概率统计与随机采样， 此任务的目标是在 Paddle 框架中，基于现有概率分布方案 ......
含分布式电源的33节点配电网matlab模型图，支持matlab2021a版及以上版本运行
含分布式电源的33节点配电网matlab模型图，支持matlab2021a版及以上版本运行，分布式电源可自行修改输出功率以及调整接入配电网节点的位置，联系可附含分布式电源的33节点配电网潮流计算程序以及节点电压图YID:1860675346223268 ......
分布式存储技术（上）：HDFS 与 Ceph的架构原理、特性、优缺点解析
面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结构化数据存储的对象存储技术，本文将对他们的架构原理、特性和优缺点做介绍。 — 分布式文件系 ......
MATLAB代码：分布式最优潮流 含分布式光伏的配电网集群划分和集群电压协调控制
MATLAB代码：分布式最优潮流 关键词：网络划分；分布式光伏；集群电压控制；分布式优化；有功缩减 参考文档：《含分布式光伏的配电网集群划分和集群电压协调控制》 仿真平台：MATLAB 主要内容：本文以全局电压的低成本快速控制为目标，提出基于电气距离和区域电压调节能力的集群综合性能指标和网络划分方法 ......