容错性 可用性 一致性 理论
分布式事务、CAP理论、BASE理论
# 分布式事务、CAP理论、BASE理论 ## 什么是分布式事务？ ### 首先理解什么是本地事务？ 平常我们在程序中控制事务是利用数据库本身的事务特性来实现的，比如spring中的@Transactional注解，因此叫**数据库事务**。由于应用主要靠关系数据库来控制事务，此数据库只属于该应用， ......
目标检测中目标数量不一致的解决方法
# 问题描述 在学习使用Pytorch进行目标检测任务时，会出现和分类任务有很大区别的一点。在进行分类任务时，当指定了图像的大小，那么Dataset中每张图的张量大小都是一致的。而在目标检测任务中，在一张图上可以只有一个目标，也可以有多个目标，在Dataset中张量大小不一致会报错，例如： ```t ......
自然语言处理 Paddle NLP - 结构化数据问答-理论
NLP问答任务 相似度和规则匹配，都是早期的方法，现在主流的方法，都是基于生成的方法 结构化数据问答，有两种形式，一种是知识图谱形式、一种是关系型数据库形式。  阿里开发者 2023-06-05 09:00 发表于浙江 阿里妹导读 就像每一次发布上线修复问题的同时，也极易引入新的问题，自缓存诞生的第 ......
从2PC和容错共识算法讨论zookeeper中的Create请求
最近在读《数据密集型应用系统设计》，其中谈到了zookeeper对容错共识算法的应用。这让我想到之前参考的zookeeper学习资料中，误将容错共识算法写成了2PC（两阶段提交协议），所以准备以此文对共识算法和2PC做梳理和区分，也希望它能帮助像我一样对这两者有误解的同学。 ......
【个人笔记】免费可用中文版ChatGPT,国内免费版ChatGPT
ChatGPT介绍 ChatGPT是个啥？ Openai 团队研发的一个人工智能聊天程序。 Chat：表示“聊天”。 GPT：则是Generative、Pre-trained、Transformer的缩写，表示“预训练语言模型”，可以理解成一个“会说话”的人工智能。 即：可以对话的人工智能，你问他什 ......
自然语言处理 Paddle NLP - 检索式文本问答-理论
问答系统(Question Answering System,QA) 是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能. 抽取式阅读理解：它的答案一定是段落里的一个片段，所以在训练前，先要 ......
代理理论讲解
代理： 破解放IP这种反爬机制代理的概念： - 代理服务器。代理的作用： - 突破自身IP访问的限制。 - 可以隐藏自身真是IP代理相关的网站： - 快代理 - 西祠代理 - www.goubanjia.com ......
BASE最终一致性
BASE（Basically Available, Soft State, Eventually Consistent）是一种分布式系统设计原则，它与传统的ACID（Atomicity, Consistency, Isolation, Durability）模型相对应。在构建大规模、高可用性的分布式 ......
SeaTunnel 发布成为 Apache 顶级项目后首个版本 2.3.2，进一步提高 Zeta 引擎稳定性和易用性
 > 近日，Apache SeaTunnel 正式发布 2.3.2 版本。此时距离上一版本 2.3.1 ......
【Ubuntu 22.04】部署Nginx + Tomcat * 2 实现负载均衡、高可用
## 一、前置条件 1. 已准备ubuntu22.04 LTS版本作为服务器001~002节点，并配置为本地域名`tomcat-001`,`tomcat-002`，可使用SSH对其进行远程管理。  Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Pa ......
MSDTC（Microsoft Distributed Transaction Coordinator）是微软的分布式事务协调器，它是Windows操作系统中的一个组件。MSDTC 提供了跨多个资源管理器（如数据库、消息队列等）执行事务的能力，确保事务的原子性、一致性、隔离性和持久性。
MSDTC（Microsoft Distributed Transaction Coordinator）是微软的分布式事务协调器，它是Windows操作系统中的一个组件。MSDTC 提供了跨多个资源管理器（如数据库、消息队列等）执行事务的能力，确保事务的原子性、一致性、隔离性和持久性。 MSDTC ......
Keepalived+Nginx 高可用集群架构
Keepalived+Nginx 高可用集群（主从模式） 一、两台群集服务器都需要安装nginx和keepalived，先添加nginx yum 源 vim /etc/yum.repos.d/nginx.repo [nginx-stable] name=nginx stable repo baseu ......
vue项目在IE内核下打开显示白屏（亲测可用！！！）
一.安装babel-polyfill库 npm install --save babel-polyfill 如图 二.在main.js中引入(放在最上面，一定要在第一行) import 'babel-polyfill' 三.在vue.config.js中加入 transpileDependencie ......
【二】并发编程之多进程理论
### 【二】并发编程之多进程理论  > 参考博客：[Day 16 16.1 并发爬虫一、进程、线程以及协程 - C ......
【四】并发编程之多线程理论
## 【四】并发编程之多线程理论 ### 多线程（理论）  ### 【一】什么是线程 - 在传统操作系统中，每个进程 ......
锁（理论篇）
# MVCC机制遗留的问题 **为什么在可重复读级别下，幻读没有产生？** 回想一下在事务隔离级别那篇文章中，可串行化是通过什么保证的？ 对操作的每一行记录加读锁、写锁和范围锁；任何其他事务都必须等待持有锁的事务释放锁之后才能进行操作； 而可重复读级别相比之下唯一少的就是范围锁，所以无论你是否了解过 ......
缓存一致性如何保障
缓存在现代应用程序中被广泛使用，用于提高性能和降低对后端数据存储系统的负载。然而，使用缓存也带来了一个重要问题：缓存一致性。在分布式系统中，缓存一致性成为了一个挑战，因为我们需要确保缓存中的数据与后端数据存储系统的数据保持同步，以避免数据不一致的情况发生。 ## Cache Aside Patter ......
MySQL 中常见的高可用架构部署方案
MySQL 中常见的高可用架构部署方案 IT奋斗的青年 2023-06-06 08:36 发表于山东 收录于合集#mysql17个 MySQL 中的集群部署方案 前言 这里来聊聊，MySQL 中常用的部署方案。 MySQL Replication MySQL Replication 是官方提供的主从 ......
数据标准的实施：提高数据的可用性和可访问性
[toc] 《37. "数据标准的实施：提高数据的可用性和可访问性"》是一篇关于数据标准的技术博客文章。在这篇文章中，我们将探讨数据标准的实施如何可以提高数据的可用性和可访问性，并介绍一些实施数据标准的方法和步骤。 ## 1. 引言 在当今数字化时代，数据已经成为企业和组织的核心资产之一。数据的标准 ......
系统复杂度之【高可用】
接着，我们聊聊复杂度的第二个要求高可用。 参考维基百科，先来看看高可用的定义。 系统无中断地执行其功能的能力，代表系统的可用性程度，是进行系统设计时的准则之一。 这个定义的关键在于“ 无中断”，但恰好难点也在“无中断”上面，因为无论是单个硬件还是单个软件，都不可能做到无中断，硬件会出故障，软件会有b ......
人人可用的开源数据可视化分析工具
DataEase 人人可用的开源数据可视化分析工具。 ## 什么是 DataEase？ DataEase 是开源的数据可视化分析工具，帮助用户快速分析数据并洞察业务趋势，从而实现业务的改进与优化。DataEase 支持丰富的数据源连接，能够通过拖拉拽方式快速制作图表，并可以方便的与他人分享。 ![i ......
redis 双写一致性
### 双写一致性 ```python 加入了缓存后，缓存有数据，先去缓存拿，但mysql中数据边了，缓存中数据不会自动变化，出现不一致问题， #双写一致性 写入mysql,rredis没有改，导致数据不一致 #解决方法 -1 修改数据，删除缓存 -2 修改数据，更新缓存 -3 定时更新缓存 》实时 ......
一致性哈希算法
请求和后端ip地址计算hash值%2^32。 把请求转给按顺时针找到的后端IP。如果后端IP挂了，原本转给其他后端IP的请求不变。为了增强均衡性，可以增加虚拟节点。 参考资料nginx 负载均衡/一致性哈希 ......
数据质量的监测和管理：确保数据的准确性和一致性
[toc] 数据质量是软件开发中非常重要的一个方面，因为它直接决定了最终产品的准确性和一致性。然而，由于数据量庞大、数据的复杂性以及数据分析技术的快速发展，数据的监测和管理成为了一个至关重要的问题。本文将介绍数据质量监测和管理的相关领域和技术，旨在帮助开发人员和数据科学家更好地理解如何确保数据的准确 ......
高可用性架构的部署与运维
[toc] 高可用性架构的部署与运维是一个技术密集、挑战性的领域，涉及到软件架构、部署、监控、容量规划、负载均衡、备份与恢复等多个方面。本文将围绕高可用性架构的部署与运维，从技术原理、实现步骤、应用示例与代码实现、优化与改进等方面进行深入探讨。 ## 1. 引言 高可用性架构是指一种能够确保系统在不 ......
关系型数据库的日常使用：轻松管理海量数据并保证数据一致性
[toc] 关系型数据库的日常使用：轻松管理海量数据并保证数据一致性 随着互联网和信息技术的不断发展，数据库的重要性日益凸显。数据库是用于存储和管理数据的一种技术，可以用于各种不同的应用场景，例如商业应用、政府应用和个人应用等。在本文中，我们将探讨如何使用关系型数据库来管理海量数据并保证数据一致性。 ......
数据标准的实施：提高数据的可用性和可访问性
[toc] 《37. "数据标准的实施：提高数据的可用性和可访问性"》是一篇关于数据标准的技术博客文章。在这篇文章中，我们将探讨数据标准的实施如何可以提高数据的可用性和可访问性，并介绍一些实施数据标准的方法和步骤。 ## 1. 引言 在当今数字化时代，数据已经成为企业和组织的核心资产之一。数据的标准 ......