分布式
在学习分布式系统时遇到的五个常见误解
哈喽大家好，我是咸鱼 我们知道，随着企业规模或者说业务规模的不断扩大，为了应对不断增长的业务需求和提高系统的可伸缩性、可靠性和性能，计算机系统由一开始的单体系统逐渐发展成分布式系统 那么今天咸鱼给大家介绍一些关于小白在学习分布式系统遇到的一些常见误解 ## 误解1.网络是可靠的 **在分布式系统中， ......
分布式事务
# 分布式事务 ## 回顾事务 > 什么是事务 ？ > > - 一组对数据库的操作，整体要么一起成功，要么一起失败 > > 事务的特性？ > > - 一致性 > - 原子性 > > 在项目中做事务控制 ？ 怎么做 ？ > > - 在启动类上加@EnableTransactonManager > - ......
分布式锁& 分布式事务
[toc] ## 分布式事务 ### 什么是分布式事务？ 分布式事务是指涉及多个参与方的事务操作，这些参与方可以位于不同的物理节点或不同的系统之间，需要保证所有参与方的操作要么全部成功，要么全部失败，保持数据的一致性。 ### 分布式事务的实现方式有哪些？ 常见的分布式事务实现方式包括两阶段提交（2 ......
Python的分布式网络爬虫
分布式爬虫其实就是指利用多台计算机分布式地从互联网上采集数据的一种爬虫。它可以把大规模的任务分解成若干小规模的，由多台计算机并行进行处理，大大提高了效率和速度。 分布式爬虫有很多优势：解决单机爬虫效率低的问题，分布式爬虫可以将任务分配给多个节点并行处理，大大提高了效率和速度。可以节省带宽和内存资源， ......
图解Redis和Zookeeper分布式锁
使用Redis还是Zookeeper来实现分布式锁，最终还是要基于业务来决定，可以参考以下两种情况：
（1）如果业务并发量很大，Redis分布式锁高效的读写性能更能支持高并发
（2）如果业务要求锁的强一致性，那么使用Zookeeper可能是更好的选择 ......
分布式事务1
普通的单系统事务，本地事务可用 ACID 解决； 但是现在都是分布式系统，此时本第十五已经不够看了，需要 考虑到分布式事务。 一致性(consitency)：用户访问分布式系统中的任意节点，得到的数据必须一致 可用性(availability)：用户访问集群中的任意健康节点，必须能得到响应，而不是超 ......
《可伸缩服务架构-框架与中间件》-01-分布式发号器
本文主要是设计一款永不重复的高性能分布式发号器。 源码地址——码云：https://gitee.com/robertleepeak/vesta-id-generator Vesta是一款通用的ID产生器，互联网俗称统一发号器，它具有全局唯一、粗略有序、可反解和可制造等特性，它支持三种发布模式：嵌入发 ......
Redis系列13：分布式锁实现
[Redis系列1：深刻理解高性能Redis的本质](https://www.cnblogs.com/wzh2010/p/15886787.html "Redis系列1：深刻理解高性能Redis的本质") [Redis系列2：数据持久化提高可用性](https://www.cnblogs.com/w ......
Redis+分布式+秒杀
## 聊一下MySQL 关于mysql关系型数据库的一些分析： 1、从性能上：如果我们碰到需要执行耗时特别久，并且执行结果不是很频繁变动的SQL语句，我们就没有必要每次都去查询数据库，因为每次操作数据库都很耗时。 2、从并发上：在大并发的情况下（比如618秒杀活动，你敢让千万级的请求直接打到数据库上 ......
聊聊分布式解决方案Saga模式
### Saga模式 Saga模式使用一系列本地事务来提供事务管理，而一个本地事务对应一个Saga参与者，在Saga流程里面每一个本地事务只操作本地数据库，然后通过消息或事件来触发下一个本地事务，如果其中一个本地事务失败了，Saga就会执行一系列补偿事务来实现回滚操作。（补偿事务简单来讲就是对之前本 ......
十三、利用分布式锁解决超卖问题
库存超卖问题 对于商城系统。超卖了一部分可以补获，12306对超卖问题更敏感。 JMeter的使用 超卖演示&使用JMeter对购票功能进行压测 使用synchronized是否能解决库存超卖？ 超卖问题出现原因： 假设余票为1，此时多个线程同时查询到这条余票记录，并进行扣减，那么则会导致超卖发生。 ......
SpringCloudAlibaba整合分布式事务Seata
[toc] # 1 整合分布式事务Seata [点击了解分布式事务Seata相关信息](https://jingzh.blog.csdn.net/article/details/130671622) ## 1.1 环境搭建 ### 1.1.1 Nacos搭建 [点击了解Nacos原理和使用](htt ......
微服务架构学习与思考(13)：分布式配置中心
## 一、配置中心的诞生 用编程语言编写应用项目时，一般都会有项目的配置文件。比如用 java 编写项目，有一个 properties 的配置文件，会把一些配置信息写入到该文本文件中，例如数据库相关的配置信息。 这也体现了软件设计的一个原则：**关注点分离**。把代码和配置信息相分离。 ![imag ......
centos7上Hadoop2.7.2完全分布式部署
1.规划 node1 node2 node3datanode datanode datanodenamenode resourcemanager secondarynamenodenodemanager nodemanager nodemanager 2.设置环境 2.1 修改hostname主机名 ......
centos7.9上hadoop-2.7.2伪分布式部署
1.安装jdk 1.1 在Oracle官网上现在jdk1.8 ，然后上传到Linux服务器中 1.2 安装jdk rpm -ivh jdk-8u371-linux-x64.rpm 2 创建部署用户 hadoop useradd -d /hadoop hadoop echo 123 |passwd - ......
分布式机器学习(Parameter Server)
分布式机器学习中，参数服务器(Parameter Server)用于管理和共享模型参数，其基本思想是将模型参数存储在一个或多个中央服务器上，并通过网络将这些参数共享给参与训练的各个计算节点。每个计算节点可以从参数服务器中获取当前模型参数，并将计算结果返回给参数服务器进行更新。 为了保持模型一致性，通 ......
分布式CAP理论
分布式：一个大业务拆分成多个小业务并部署在不同的服务器上 CAP：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项。 网络问题不可避免，P（分区容错性）是一定需要保证的 如果此时有节 ......
分布式基础之CAP理论&BASE理论
1.CAP理论1.1 含义C（Consistency一致性）、Availability（可用性）、Partition Tolerance（分区容错性）。1.2 具体意义一致性（Consistency） : 所有节点访问同一份最新的数据副本可用性（Availability）: 非故障的节点在合理的时间 ......
分布式事务的21种武器 - 6
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
十二、集成分布式事务组件Seata
什么是Seata 网址：seata.io Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 seata术语 TC (Transaction Coordin ......
《kubernetes 系列》2. 云原生和分布式系统的存储基石 etcd 的介绍、架构和概念解析
### 楔子 **本次来介绍 etcd，它负责 k8s 元数据的存储，k8s 的状态数据全部存储在 etcd 上面。随着 k8s 的火热，etcd 也越来越受到重视，截止到此刻，它在 GitHub 的 star 数已经达到了 43.5k，很多软件工程师都在使用 etcd 去解决业务场景中遇到的痛点。 ......
分布式事务的21种武器 - 5
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式事务的21种武器 - 4
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式事务的21种武器 - 1
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式事务的21种武器 - 3
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
SpringCloud config分布式配置 访问远程仓库gitee
服务端远程连接gitee上的配置文件 1.导包 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM ......
集群、服务、微服务、分布式
先说集群： 可以理解为一批部署了相同服务的机器，这些机器的集合就是集群。 为啥要使用集群部署，因为当一款应用或软件使用人数越来越多，流量越来越大的时候，单台机器的资源已经无法满足使用需求，这时候就要加机器，现在硬件很便宜，集群的数量可以很庞大，他们之前相互配合工作，就能处理大量的用户请求，当然这中间 ......
【ubuntu】jmeter分布式部署
1、起因 由于系统并发预期的吞吐量在8000左右， 自己的win10以及另一台win10根本吃不住这个并发jmeter资源，想继续增加并发是不可能了，所以只能搞到公司的服务器上，不然没法出报告啊 2、部署环境 咱就搞三个执行机 3、分别安装部署JDK和Jmeter https://www.cnblo ......
分布式事务的21种武器 - 2
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式文件系统GFS
# 0.简介 文件系统应该具有的接口： - 基本接口：创建（Create）、删除（Delete）、打开（Open）、关闭（Close）、读取（Read）、写入（Write） 对于打开和关闭我们可以把它理解成读取与写入的前置和后置动作，在GFS中不必太多关注它。 - 拓展的接口：生成快照（Snapsh ......