异质 分布式 偏好 机制
分布式配置nacos搭建踩坑指南(下)
上一篇介绍了在配置nacos中的碰到的坑，这一篇介绍一下如何正确进行nacos的环境搭建和配置，所以本文分为两部分，第一部分为环境搭建，介绍如何安装和运行。第二部分为alibaba Sprint Boot配置，介绍如何正确配置。 注意：本文基于nacos 2.2.0,alibaba Spring B ......
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
分布式事务 | 使用DTM 的Saga 模式
DTM 首创的子事务屏障技术，使得开发者基于DTM 提供的SDK能够轻松开发出更可靠的分布式应用，彻底将开发人员从网络异常的处理中解放出来，再也不用担心空补偿、防悬挂、幂等等分布式问题。如果要进行分布式事务框架的选型，DTM 将是不二之选。 ......
分布式事务 | 使用 dotnetcore/CAP 的本地消息表模式
本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递，下游业务订阅消息进行消费，本质上是依靠消息的重试机制达到最终一致性。 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
分布式协议与算法-Raft算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
用Java写一个分布式缓存——缓存管理
之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结
源码：https://github.com/weloe/Java-Distributed-Cache ......
用Java写一个分布式缓存——缓存淘汰算法
前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
Redis缓存何以一枝独秀？(2) —— 聊聊Redis的数据过期、数据淘汰以及数据持久化的实现机制
Redis作为一个非关系型数据库，由于其超高的并发处理性能，及其对缓存场景所提供的系列能力构建，使其成为了集中缓存的绝佳选择。本篇我们聊聊Redis数据管理的能力，如数据过期、数据淘汰、数据持久化等。 ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
【Dubbo3终极特性】「流量治理体系」一文教你如何通过Dubbo-Admin实现动态进行流量隔离机制
背景信息 如果一个应用有多个版本在线上同时运行，部署在不同环境中，如日常环境和特殊环境，则 可以使用标签路由对不同环境中的不同版本进行流量隔离，将秒杀订单流量或不同渠道订单流量路由到特殊环境，将正常的流量路由到日常环境。即使特殊环境异常，本应进入特殊环境的流量也不会进入日常环境，不影响日常环境的使用 ......
【深入浅出Seata原理及实战】「入门基础专题」带你透析认识Seata分布式事务服务的原理和流程（1）
分布式事务的背景 随着业务的不断发展，单体架构已经无法满足我们的需求，分布式微服务架构逐渐成为大型互联网平台的首选，但所有使用分布式微服务架构的应用都必须面临一个十分棘手的问题，那就是“分布式事务”问题。 在分布式微服务架构中，几乎所有业务操作都需要多个服务协作才能完成。对于其中的某个服务而言，它的 ......
【深入浅出Seata原理及实战】「入门基础专题」探索Seata服务的AT模式下的分布式开发实战指南（2）
承接上文 上一篇文章说到了Seata 为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。那么接下来我们将要针对于AT模式下进行分布式事务开发的原理进行介绍以及实战。 Seata AT模式 在AT、TCC、SAGA 和 XA 这四种事务模式中使用最多，最方便的 ......
【分布式技术专题】「LVS负载均衡」全面透析Web基础架构负载均衡LVS机制的原理分析指南
前提概要 在大规模互联网应用中，负载均衡设备是必不可少的组成部分，源于互联网应用的高并 发和大流量的冲击压力场景下，通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）实现高可用特点和机制。 LVS的介绍说明 官方站点：http://www.linuxvirtuals ......
聊聊分布式缓存
缓存作为磁盘以外的一种存储数据的方式，它有着比磁盘更快的存取效率，因此，可以有效提高系统的性能。在单体系统中，一般会用到本地缓存。但在分布式系统中，本地缓存就显得不够用了，这时往往要用到分布式缓存。 分布式缓存特性 本地缓存因为就在应用系统进程的内存里面，不需要网络和对象拷贝的开销所以性能非常高，不 ......
分布式协议与算法-Paxos算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 为什么要学习Paxos算法？其实关于这个问题的答案，每个人有不同的看法。其实对我来说，我认为当前很多常用的共识算法都是基于它改进，我学习它的初衷也是为了更好的去理解Raft算法。如果你想深入理解RAFT算法，博主在这里推荐蚂蚁金服的SOFAJ ......
分布式协议与算法-Quorum NWR
1.强一致性与最终一致性 1.1强一致性 强一致性能保证写操作完成后，任何后续访问都能读到更新后的值；强一致性可以保证从库有与主库一致的数据。如果主库突然宕机，我们仍可以保证数据完整。但如果从库宕机或网络阻塞，主库就无法完成写入操作。 1.2最终一致性 最终一致性只能保证如果对某个对象没有新的写操作 ......
Redis持久化机制
全量同步与增量同步的区别 全量同步：就是每天定时（避开高峰期）或者采用一个周期实现将数据拷贝到一个地方也就是Rdb存储。 增量同步：比如采用对行为的操作实现对数据的同步，也就是AOF。 全量与增量的比较：增量同步比全量同步更加消耗服务器的内存，但是能够更加的保证数据的同步。 RDB与AOF实现持久化 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构三）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 结合 OP Storming 的实践 结合 OP Storming 的实践 业务模型 设计模型 代码实现 代码实现 HelloOrleans.Host Orleans.Providers ......
深入理解 OpenMP 线程同步机制
在本篇文章当中主要给大家介绍了一些经常使用的 OpenMP 用于线程之间同步的指令，并且用实际例子分析它内部的工作机制，以及我们改如何使用 nowait 优化程序的性能，以上就是本篇文章的所有内容希望大家有所收获！ ......
分布式事务 | 基于MassTransit的StateMachine实现Saga编排式分布式事务
MassTransit StateMachine充当着事务编排器的角色，通过集中定义状态、转移条件和状态转移的执行顺序，实现高内聚的事务流转控制，也确保了其他伴生服务仅需关注自己的业务逻辑，而无需关心事务的流转，真正实现了关注点分离。 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀3 —— 讲透Caffeine的数据驱逐淘汰机制与用法
上一篇文章中我们聊了Caffeine的同步、异步的数据回源方式。本篇文章我们再一起研讨下经Caffeine改良过的异步数据驱逐处理实现，以及Caffeine支持的多种不同的数据淘汰驱逐机制和对应的实际使用。 ......
JAVA中使用最广泛的本地缓存？Ehcache的自信从何而来3 —— 本地缓存变身分布式集群缓存，打破本地缓存天花板
作为JAVA本地缓存综合实力天花板的Ehcache，还提供了对于集群能力的支持，这也使其不仅仅是个单机缓存，更是一个分布式缓存。本篇一起探讨Ehcache的各种集群方案。 ......
【kubernetes入门到精通】Kubernetes的健康监测机制以及常见ExitCode问题分析「探索篇」
无论是在微服务体系还是云原生体系的开发迭代过程中，通常都会以 Kubernetes 进行容器化部署，但是这也往往带来了很多意外的场景和情况。例如，虽然我们已经将 JVM 堆内存设置为小于 Docker 容器中内存及 K8S 的 Pod 的内存，但是还是会被 K8s 给无情的杀掉（Kill -9 / ... ......
分布式文件系统之FastDFS
目录结构： 一 分布式文件系统 二 FastDFS入门 三 FastDFS环境搭建 四 FastDFS在Java项目中开发示例 五 FastDFS分布式文件系统集群 一 分布式文件系统 分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文 ......