分布式 函数 电源 成本
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......
Python3中的“加和”函数
如果我们遇到[[1],[2,3],[4,5,6]]这样的一个python列表，想把他展平为一个一维的列表，这个时候你会使用什么样的方法呢？for循环？while循环？其实python的内置函数sum中简单的支持了一下这样的功能，使得我们可以更加简便的把一个高维且长度不固定的列表展平为一个规则的一维列... ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
Redis避坑指南：为什么要有分布式锁？
JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑；
多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人；
分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑；
换句话说，JUC的锁和分布式锁都是一种保护系统资... ......
JavaScript 高阶函数
JavaScript 中的高阶函数是一种接受函数作为输入或返回函数作为输出的函数。高阶函数可以用于创建抽象概念，例如柯里化、组合和管道。 ......
redis实现分布式锁（包含代码以及分析利弊）
redis实现分布式锁（基础版） 使用redis实现分布式锁的方法有多种，基础版本是基于setnx命令，即如果不存在则设置。这个命令可以保证只有一个客户端能够成功设置一个key，从而获得锁。设置key的时候需要设置一个过期时间，以防止死锁。释放锁的时候需要删除key，或者使用lua脚本来保证原子性。 ......
js函数中的this指向
写代码的时候遇到这个问题了，在这里复习一下 2023.3.09：忽然发现写的有点绕口，再总结一下，普通函数this指向调用他的那个对象（动态的，this不是一定的），箭头函数this指向其父级作用域上下文（静态的，定义时就确定） 大家可以自己试一试，有问题随时交流 非箭头函数 非箭头函数的this指 ......
用Java写一个分布式缓存——RESP服务端
本篇我们将完成一个RESP的socket的服务端，初步完成一个单机版缓存。
另外我们还需要完成命令的动态路由。
源码：https://github.com/weloe/Java-Distributed-Cache ......
分布式配置nacos搭建踩坑指南(下)
上一篇介绍了在配置nacos中的碰到的坑，这一篇介绍一下如何正确进行nacos的环境搭建和配置，所以本文分为两部分，第一部分为环境搭建，介绍如何安装和运行。第二部分为alibaba Sprint Boot配置，介绍如何正确配置。 注意：本文基于nacos 2.2.0,alibaba Spring B ......
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
分布式事务 | 使用DTM 的Saga 模式
DTM 首创的子事务屏障技术，使得开发者基于DTM 提供的SDK能够轻松开发出更可靠的分布式应用，彻底将开发人员从网络异常的处理中解放出来，再也不用担心空补偿、防悬挂、幂等等分布式问题。如果要进行分布式事务框架的选型，DTM 将是不二之选。 ......
分布式事务 | 使用 dotnetcore/CAP 的本地消息表模式
本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递，下游业务订阅消息进行消费，本质上是依靠消息的重试机制达到最终一致性。 ......
《Terraform 101 从入门到实践》 Functions函数
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 Terraform的函数 Terraform为了让大家在表达式上可以更加灵活方便地进行计算，提供了大量的内置函数（Function）。目前并 ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-上
再下一城又一个实时多维交互式分析数仓利器，了解其特性和架构组成，进一步阐述相关概念和其生态圈；介绍作为开发测试最快捷方式的Docker单机部署；也基于Hadoop环境一步步部署最新v4.0.3二进制并解决遇到的问题，最后通过一个读取hive数据示例介绍kylin创建项目、选择数据源、创建Model、... ......
开源分布式支持超大规模数据分析型数据仓库Apache Kylin实践-下
本篇先通过Kylin对连接条件、维度和度量限制的示例弄清Kylin的使用注意事项，在此基础上研究Kylin查询引擎，并配置spark查询下压实现没有cube的查询；理解Cube的构建优化，通过官方提供RestAPI实现动态灵活查询和cube构建，最后通过集成JDBC的Java代码实现简单查询操作。 ......
.Net Core对于`RabbitMQ`封装分布式事件总线
首先我们需要了解到分布式事件总线是什么； 分布式事件总线是一种在分布式系统中提供事件通知、订阅和发布机制的技术。它允许多个组件或微服务之间的协作和通信，而无需直接耦合或了解彼此的实现细节。通过事件总线，组件或微服务可以通过发布或订阅事件来实现异步通信。 例如，当一个组件完成了某项任务并生成了一个事件 ......
(一) MdbCluster分布式内存数据库——基础架构介绍
(一) MdbCluster分布式内存数据库——基础架构介绍 这个项目是怎么开始的我已经有些记不清楚了，大概是原来的内存数据库很不好用，一次次地让我们踩坑，我又自以为是地觉得可以做一个更好的出来。自从拥有自己的团队以来，我思考最多的总是如何带着团队做出有意义和有价值的产品，而不是将时间浪费在无谓的琐 ......
分布式协议与算法-Raft算法
本文总结自：极客时间韩健老师的分布式协议与算法实战课程。 大家都知道，Raft算法属于Multi-Paxos算法，它是在Multi-Paxos思想的基础上，做了一些简化和限制。关于Paxos算法，博主在之前的文章有过总结，大家可以从这里跳转：分布式协议与算法-Paxos算法 关于Raft算法相关的开 ......
JDK8 四大核心函数式接口及扩展接口总结
前言 Java8的四大函数式接口及相关的扩展接口在日常使用中的频率也是非常多的，包括自己定义的函数式接口，在JDK1.8之前，我们定义的方法都是用来接收参数，然后自己根据参数传递实现逻辑。在1.8之后，可以通过参数传递一段行为代码，将公共的行为代码封装成一个函数式接口传递，可以减少很多代码量，在St ......
【C++ 泛型编程01：模板】函数模板与类模板
【模板】 除了OOP外，C++另一种编程思想称为 泛型编程 ，主要利用的技术就是模板 C++提供两种模板机制：函数模板和类模板 函数模板 函数模板作用 建立一个通用函数，其函数返回值类型和形参类型可以不具体制定，用一个虚拟的类型来代表。 语法 template<typename T> 函数声明或定义 ......
用Java写一个分布式缓存——缓存管理
之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结
源码：https://github.com/weloe/Java-Distributed-Cache ......
用Java写一个分布式缓存——缓存淘汰算法
前言 之前也用过一些缓存中间件，框架，也想着自己是不是也能用Java写一个出来，于是就有了这个想法，打算在写的过程中同步进行总结。 源码：weloe/Java-Distributed-Cache (github.com) 本篇代码： Java-Distributed-Cache/src/main/j ......
面对集中式缓存实现上的挑战，Redis交出的是何种答卷？聊聊Redis在分布式方面的能力设计
对于一个集中式缓存的分布式能力构建，必须要额外提供一些机制，来保障数据在各个节点上的安全与一致性。本文以Redis为代表，看下集Redis面对上述问题交出的是怎样一份答卷。 ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
只需两步便可生成 51 单片机最精准的延时函数
前言 我们在学习 51 单片机的过程中会用到延时，比如一个简单的流水灯就需要延时来控制依次点亮的时间，或者一些模块在单片机发出读数据指令后，需要延时几十微秒才可以读出数据等等，这些都离不开延时，所以我们需要一个精准的延时函数来满足我们的需求。 本篇介绍一个最简单并且延时最精准的 51 单片机延时函数 ......