分布式
基于 WinCC OA 构建分布式可视化平台
WinCC OA 的全称是：SIMATIC WinCC Open Architecture，是西门子工业自动化品牌SIMATIC系列的一部分。专门针对客户定制大型和/或复杂的应用以及需要满足特定系统需求和功能的项目等。 SIMATIC WinCC OA 代表： 面向对象支持不同的工程设计和灵活的工 ......
中间件 ZK分布式专题与Dubbo微服务入门 1-2 什么是分布式系统
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12660 1 重点关注 1.1 什么是分布式系统 2 课程内容 2.1 什么是分布式系统 令很多台计算机组成一个整体，一个整体一致对外并且处理同一请求 内部的每台计算机都可以相互通信 ( res ......
基于DID实现第三方应用的分布式身份登录
在我们掌握了DID的基础知识（还没有掌握DID基础知识？请先阅读我之前的关于DID的文章），构建DID平台的时候，DID的常见应用就是基于DID实现第三方平台的登录。接下来，我们假设已经构建了一个基础的DID平台，用长安链实现了DID文档的链上管理，并提供了DID钱包托管用户的公私钥和VC证书，建设 ......
如何用Redis构建分布式锁系统？
对常见的加锁场景的归纳，只涉及到了JVM的api锁和redis的分布式锁。其实也可以用zookeeper或者mysql，其他的以后在分享吧，其实最完美的还是老外那套saga状态机 解决分布式事务比较完美，缺点就是难度很大要用到领域驱动的思想，国内普遍用的贫血模型，切换到DDD还是需要些时间研究的，对 ......
Kafka-分布式安装
一、kafka是什么？ Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力，适合在大规模消息处理场景中使用。 (1) 分布式系统 ......
分布式架构的高性能与可用性
分布式架构是一种将系统拆分为多个独立的组件或服务，并在不同的计算节点上部署这些组件或服务的架构方式。它可以提供高性能和可用性的好处。下面我将详细介绍分布式架构在高性能和可用性方面的优势。 高性能 横向扩展：分布式架构可以通过增加计算节点来实现横向扩展，从而提高系统的处理能力和吞吐量。当系统负载增加时 ......
GaussDB(DWS)中的分布式死锁问题实践
出现分布式死锁现象后，如果没有外部干预，通常是一方等待锁超时报错后，事务回滚清理持有锁资源，另一方可继续执行。 ......
使用 PostgreSQL 16.1 + Citus 12.1 作为多个微服务的分布式 Sharding 存储后端
在本教程中，我们将使用 PostgreSQL 16.1 + Citus 12.1 作为多个微服务的存储后端，演示此类集群的样例设置和基本操作。 Citus 12.1 实验环境设置 Docker 快速启动 Citus 分布式集群 docker-compose.yml version: "3" serv ......
分布式协议详解
目录1. 分布式理论1.1 拜占庭将军问题1.2 CAP理论1.3 BASE理论2. 分布式算法协议3. 分布式事务协议3.1 2PC3.2 3PC3.3 TCC3.4 本地事务表3.5 MQ事务消息3.6 最大努力通知 1. 分布式理论 1.1 拜占庭将军问题 1.2 CAP理论 1.3 BASE ......
Redis分布式锁
1.分布式锁的方案 分类 方案 原理 优点 缺点 基于数据库 mysql数据库表的唯一索引 1.表创建唯一索引2.加锁：执行insert语句，成功则加锁成功，失败则加锁失败3.解锁：执行delete语句 完全利用DB实现，实现简单 1.锁无超时自动失效机制，有死锁风险2.不支持锁冲入，不支持阻塞等待 ......
分布式系统 9种实现接口幂等性方案
在开发订单系统时，我们常遇见支付问题，既用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额发现多扣钱了，流水记录也变成了两条。 在以前的单应用系统中，我们只需要把数据操作放入事务中即可，发生错误立即回滚，但 ......
Redis分布式锁实现方案
2023.12.25 今天和宝宝复盘吵架，宝宝明明错了还不承认，希望她以后能有长进。 Redis的几种数据类型 String 最多存储 512M数据 List set Sorted Set 有序集合 Hashs 哈希 Redis的几种内存淘汰策略 noeviction 内存满了就报错，并执行扩充可用 ......
【国际会议| IEEE出版】首届并行计算与分布式系统国际会议 （PCDS2024）
首届并行计算与分布式系统国际会议（PCDS2024）将于2024年9月21-22日在新加坡及线上同步举办。PCDS旨在为研究人员、学者和行业专业人士提供交流平台，让他们聚在一起讨论并行计算与分布式系统领域的最新进展。 PCDS2024诚邀国内外高校、科研机构专家、学者，企业界人士及其他相关人员参会交 ......
看看 Asp.net core Webapi 项目如何优雅地使用分布式缓存
前言 缓存是提升程序性能必不可少的方法，Asp.net core 支持多级缓存配置，主要有客户端缓存、服务器端缓存，内存缓存和分布式缓存等。其中客户端缓和服务器端缓存在使用上都有比较大的限制，而内存缓和分布式缓存则比较灵活。 分布式缓存是一种用于存储和管理数据的技术，它将数据存储在多个节点上，以实现 ......
Windows电脑上的多开器与分布式存储系统的关系
当今，随着信息技术的不断发展，人们对于计算机性能和存储需求的要求也越来越高。在Windows电脑上，多开器与分布式存储系统之间存在着密切的关系，二者共同构建了一个高效、可靠的计算环境。 首先，让我们来了解一下多开器的概念。多开器是一种软件工具，可以让用户在单台计算机上同时启动多个相同或不同的程序实例 ......
fugue 分布式计算通用接口
fugue提供了通用方便分布式计算的接口，可以高效的访问大数据项目，提供了python，pandas，sql 等模式如下图 从上图可以看出fugue 提供了一个语义层，我们的计算任务可以运行在ray，dask，spark，以及duckdb 中 参考架构 可以看出fugue 提供了不少方便的能力，比如 ......
Go 语言实现高性能分布式锁
Go 语言实现高性能分布式锁 原创 源自开发者 源自开发者 2023-12-22 07:31 发表于广东 听全文 源自开发者 专注于提供关于Go语言的实用教程、案例分析、最新趋势，以及云原生技术的深度解析和实践经验分享。 49篇原创内容 公众号 在分布式系统中，实现跨不同服务或节点的同步操作是一个常 ......
分布式缓存NewLife.Redis
NewLife.Redis 是一个Redis客户端组件，以高性能处理大数据实时计算为目标。 Redis协议基础实现位于Redis/RedisClient，FullRedis为扩展实现，主要增加列表结构、哈希结构、队列等高级功能。 源码： https://github.com/NewLifeX/New ......
.netcore 分布式事务CAP 快速入门
https://blog.csdn.net/jbossjf/article/details/122590688 CAP是一个用来解决微服务或者分布式系统中分布式事务问题的一个开源项目解决方案。可以解决跨服务器的数据一致性、可用性问题。一个简单的列子，如：订单系统创建订单后需要通知邮件通知用户下单成功 ......
自己新建的一个项目作为分布式的调研学习以及使用功能的启动消息如下
D:\work\Java\jdk-17.0.4.1\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:1117,suspend=y,server=n -XX:TieredStopAtLevel=1 -Dspring.o ......
《Java架构师的第一性原理》35分布式计算之分布式事务（TCC、最终一致性、Seata）
1 常见分布式实现方案介绍 1.1 XA方案 有一个事务管理器的概念，负责协调多个数据库（资源管理器）的事务 不适合高并发场景，严重依赖数据库层面，同步阻塞问题；协调者故障则所有参与者会阻塞 1.2 TCC方案 严重依赖代码补偿和回滚，一般银行用，和钱相关的支付、交易等相关的场景，我们会用TCC T ......
《Java架构师的第一性原理》38分布式计算之微服务SpingCloud
1 微服务简介 1.1 什么是微服务 微服务是最近的一两年的时间里是很火的一个概念。感觉不学习一下都快跟不上时代的步伐了，下边做一下简单的总结和介绍。 何为微服务？简而言之，微服务架构风格这种开发方法，是以开发一组小型服务的方式来开发一个独立的应用系统的。其中每个小型服务都运行在自己的进程中，并经常 ......
《Java架构师的第一性原理》36分布式计算之分布式监控分布式链路跟踪（CAT、SkyWalking、Zipkin）
分布式链路跟踪 99 直接读这些牛人的原文 大众点评CAT开源监控系统剖析 一文带你看懂，SkyWalking分布式追踪系统原理及实践 SkyWalking —— 分布式应用监控与链路追踪 全面解析微服务系统监控分层，啃透服务治理核心！ ......
《Java架构师的第一性原理》33分布式计算之分布式注册中心、分布式配置中心
待补充 1 分布式注册中心 2 分布式配置中心 2.1 Apollo 2.1.1 Apollo是怎样注入到SpringBean的容器里的 99 直接读这些牛人的原文 apollo不使用 MQ 如何实现 pub/sub 场景？ 13张图彻底搞懂分布式系统服务注册与发现原理 为什么 @Value 可以获 ......
《Java架构师的第一性原理》30分布式计算之分布式算法
极客时间 韩健 121.分布式协议与算法实战 00 开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧 为什么要单独讲分布式协议和算法呢？ 在我看来，它其实就是决定分布式系统如何运行的核心规则和关键步骤。 如果一个人想真正搞懂分布式技术，开发出一个分布式系统，最先需要掌握的就是这部分知识。 ......
《Java架构师的第一性原理》32分布式计算之分布式锁（Redis、Zookeeper）
1 这才是真正的分布式锁 技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要： （1）进程多线程如何互斥？ （2）一个手机上两个APP访问一个文件如何互斥？ （3）分布式环境下多个服务访问一个资源如何互斥？ 归根结底，是利用一个互斥才能访问的公共资源来实现分布式锁，具体这个公共资源是 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第3篇LevelDB
互联网业务，绝大部分场景，会使用缓存服务。 但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storage library)，它支持字符串的key与字符串的value，并且这种映射 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第1篇如何使用Redis搭建玩家排行榜
今天我们用 Redis 搭建一个玩家的排行榜，假设一个服务器存储了 10 万名玩家的数据，我们想给这个区（这台服务器）上的玩家做个全区的排名，该如何用 Redis 实现呢？ 不妨一起来思考下面几个问题： MySQL 是如何实现玩家排行榜的？有哪些难题需要解决？ 如何用 Redis 模拟 10 万名玩 ......
《Java架构师的第一性原理》31分布式计算之微服务RPC（Dubbo）
1 互联网架构，究竟为啥要做服务化 互联网架构，究竟为啥要做服务化？ 2 微服务架构，多“微”才合适？ 微服务架构，多“微”才合适？ 3 离不开的微服务架构，脱不开的RPC细节 离不开的微服务架构，脱不开的RPC细节 3.1 服务化解决的问题 1）服务化需要解决的问题： 一套序列化、反序列化、网络框 ......