国际会议 会议 国际 分布式
分布式 id
随着业务的增长，文章表可能要占用很大的物理存储空间，为了解决该问题，后期使用数据库分片技术。将一个数据库进行拆分，通过数据库中间件连接。如果数据库中该表选用 ID 自增策略，则可能产生重复的 ID，此时应该使用分布式 ID 生成策略来生成 ID。 ......
分布式-八股文
CAP理论与BASE理论-√ ``` CAP: consistent && avaliable && partition tolerance 一致性：整个系统的数据状态应该是一致的，不存在逻辑矛盾的 可用性：整个系统应该保证是可用的 分区容错性：整个系统应当有容灾性能，有哪个节点失效或者哪个服务挂掉 ......
分布式ID｜从源码角度深度解析美团Leaf双Buffer优化方案
分布式ID的使用场景 基于MySql的初步方案 第一次优化：Leaf-segment数据库方案 第二次优化：Leaf-segment 双buffer优化 源码解析双buffer优化方案 背景 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等 ......
Springcloud2021+Nacos2.2+Dubbo3+Seata1.6实现分布式事务
> 示例代码地址：https://gitee.com/gtnotgod/Springcloud-alibaba.git 更详细参考Gitee完整的项目：https://gitee.com/gtnotgod/Springcloud-alibaba.git # 官网下载Nacos > https://n ......
09-分布式缓存
## 一、使用分布式缓存Redis ### （一）分布式缓存和Redis 1、多级缓存 在一个简单的请求链路中，会经过Nginx、Redis、Tomcat、数据库，其中Nginx、Redis、Tomcat都有缓存存在，这也是常说的多级缓存。 2、缓存的作用与应用场景 使用缓存主要 ......
第二届算法, 网络与计算机技术国际学术会议（ICANCT2023）
第二届算法、网络和计算机技术国际会议 (ICANCT 2023) 将于 2023 年 12 月 8 日至 10 日在中国武汉举行，以促进对算法、网络和计算机广泛领域最新进展的认识和理解技术。诚挚邀请您向 ICANCT 2023 提交您近期的研究工作。 ★重要信息 大会时间：2023年12月 8 -1 ......
CDMP国际数据治理认证训练营来了（7-8月）
大家好，我是独孤风，一位曾经的港口煤炭工人，目前在某国企任大数据负责人，公众号大数据流动主理人。在最近的两年的时间里，因为公司的需求，还有大数据的发展趋势所在，我开始学习数据治理的相关知识。 经过一段时间的努力，我也终于通过了**CDMP国际数据治理认证考试。** 离我研究生开学还有两个月的时间，应 ......
基于Redis的分布式锁实现方案
本文介绍基于Redis LUA脚本实现分布式锁的具体方案。为了便于在微服务架构的项目中使用，方案以注解切面的方式实现，可单独提炼项目打成jar包。 一、注解 核心注解有两个CacheLock和CacheParam。 @Target(ElementType.METHOD) @Retention(Ret ......
python下使用redis分布式锁
# python下使用redis分布式锁 ### 1.什么场景需要分布式锁? 我们在写业务逻辑的时候，如果多个线程同时访问某个共享变量，一般是对变量进行上锁或者使用 queue.Queue() 实现，以做到线程安全保证数据不被污染。 在单机部署的情况下这样做完全没问题，但是随着业务规模的发展，某些单 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记21_实例层之配置
只要将配置信息存放在与源代码不同的存储库中，将其锁好，仅对有权访问的人开放，并且管理员能够根据过程、程序和执行人等授予或撤销对相关配置信息的访问权限，那么配置信息也可以存放在版本控制系统中 ......
Redis实战(黑马点评--分布式锁)
基本原理和不同的实现方式 分布式锁的核心思想就是让大家共用同一把锁，那么我们就能锁住线程，不让线程进行，让程序串行执行，这就是分布式锁的核心思路 可见性：多个线程都能看到相同的结果。 注意：这里说的可见性并不是并发编程中指的内存可见性，只是说多个进程之间都能感知到变化的意思 互斥：互斥是分布式锁的最 ......
Apache Pulsar 分布式部署
#1.Pulsar 简介 Pulsar 是一个支持多租户的、高性能的消息中间件；最初是由 Yahoo 研发的开源，分布式pub-sub系统，现在是Apache的一个顶级开源项目 Pulsar 提供了四种订阅类型，它们可以共存在同一个主题上，以订阅名进行区分： - 独享（exclusive）订阅——一 ......
HBase 分布式部署（进阶中级）
## 1. HBase 分布式部署（进阶中级） #### 1. 实验任务一：部署前期准备 ##### 1.1. 步骤一：安装部署 hadoop ha 分布式环境 ##### 1.2. 步骤二：解压安装文件 ~~~bash [root@master ~]# cd [root@master ~]# ls ......
第三届计算机应用与信息安全国际会议（ICCAIS2023）
由湖北省众科地质与环境技术服务中心主办的2023第三届计算机应用与信息安全国际会议（ICCAIS2023）将于2023年12月20-22日在中国武汉召开。 ICCAIS2023力图建立 一个国际化的计算机应用与信息安全领域的学术交流平台，分享最新进展和研究成果。期待您的参与。 ★重要信息 大会时间： ......
记一次.Net分布式事务死锁现象以及解决方法
在本文中，将介绍一次遇到的.Net分布式事务死锁现象以及解决方法。我们将首先了解事务框架的构成，然后分析导致死锁的代码，最后提出解决方法。 # 事务框架 本次开发框架JMSFramework将分布式事务划分为4个阶段，分别是：执行、确认、提交和重试。 1、执行 调用微服务来执行相关的业务操作。如果其 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记20_实例层之代码
 # 1. 术语的定义 ## 1.1. 服务 ### 1.1.1. 指共同协作、以单元的形式对外提供功能的跨机器进 ......
淘宝技术三面题目：分布式架构+红黑树+SpringMVC+设计模式
淘宝一面 Java容器有哪些？哪些是同步容器,哪些是并发容器？ ArrayList和LinkedList的插入和访问的时间复杂度？ java反射原理， 注解原理？ 新生代分为几个区？使用什么算法进行垃圾回收？为什么使用这个算法？ HashMap在什么情况下会扩容，或者有哪些操作会导致扩容？ Hash ......
JAVA微服务分布式事务的几种实现方式
# 基础理论 ## CAP理论 一致性（Consistency） ：在分布式系统中所有的数据备份，在同一时刻都保持一致状态，如无法保证状态一致，直接返回错误； 可用性（Availability）：在集群中一部分节点故障，也能保证客户端访问系统并得到正确响应，允许一定时间内数据状态不一致； 分区容错性 ......
第十一届地质资源管理与可持续发展国际学术会议（GRMSD2023）
第十一届地质资源管理与可持续发展学术会议（GRMSD 2023）将于2023年12月17-18日在中国北京召开。 主要目标是促进地质学、资源勘探和开发方面的研究和开发活动，我们诚挚地邀请您出席会议，分享地质、资源勘探开发及相关领域的观点和经验。所有被接受的论文将被EI Compendex和Scopu ......
并发扣减库存不使用分布式锁用幂等性怎么实现
扣减库存接口 /** * Notes:修改或删除库存信息 复核提交，移位完成，调拨完成 后触发 * 原始库位扣减操作 * User: sl * Date: 2023-04-11 17:31 * @param $data * @param $type 1,复核完成 2调拨出库完成后扣减 3，源库位移位 ......
HDFS集群搭建：完全分布式
本文介绍了HDFS集群中单点故障：HDFS-HA解决方案以及因此引入的Journal Node、ZKFC、Active NameNode切换过程以及HA环境搭建启动等细节。 ......
分布式锁
# zk分布式锁 海豚调度通过zk来做分布式锁，保证同一个时刻只有一台Master的scheduler来执行 或者只有一台worker执行任务的提交 ## 1.zk分布式锁核心流程算法 ![image](https://img2023.cnblogs.com/blog/680792/202307/6 ......
分布式锁解决集群下的方法抢占执行
问题描述： 启动两台heima-leadnews-schedule服务，每台服务都会去执行refresh定时任务方法 分布式锁：控制分布式系统有序的去对共享资源进行操作，通过互斥来保证数据的一致性。 分布式锁的解决方案： sexnx （SET if Not eXists） 命令在指定的 key 不存 ......
数据仓库MPP架构&分布式架构
数据仓库MPP架构&分布式架构 一、MPP架构 1.1MPP架构概述 MPP（Massively Parallel Processing）架构是一种分布式数据处理技术，能够通过将工作负载分散到多个节点上来提高数据处理性能。与传统的共享架构不同，MPP采用非共享架构（Share Nothing），将单 ......
分布式锁
1 mysql唯一键 2 redis lua脚本保证原子性 setnx expire 看门狗保证执行的时间大于锁的时间 为了避免其他人误删除 值和对应的用户一一对应 保证唯一 比如值为uid 3 redisson 4 redis多台奇数master 超过一般就获取锁成功 5 zk 参考 https: ......
分布式数据库 Join 查询设计与实现浅析
相对于单例数据库的查询操作，分布式数据查询会有很多技术难题。本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路，了解分布式场景数据处理的设计方案。
文章从常用的关系型数据库 MySQL 的分库分表Join 分析，再到非关系型 ElasticSearch 来分析... ......
6.29 celery分布式异步任务框架
1.celery：分步式异步任务框架 /1 异步任务 /2 延迟任务 /3 定时任务 /4 celery架构 消息中间件（broker）：消息队列：可以使用redis，rabbitmq 任务执行单元（worker）：执行单元 执行提交的任务 任务执行结果存储（banckend）：可以使用mysql， ......
分布式事务实践-seata
Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。 Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 官网：https://seata.io/zh-cn/docs/overview/what-is-sea ......