分布式 应用程序 架构 程序
《Terraform 101 从入门到实践》 Terraform在公有云GCP上的应用
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 Terraform支持的公有云有很多，如AWS、Azure、Google、Alibaba等。将Terraform应用于公有云，才最能发挥其强 ......
《Terraform 101 从入门到实践》 Terraform在公有云Azure上的应用
《Terraform 101 从入门到实践》这本小册在南瓜慢说官方网站和GitHub两个地方同步更新，书中的示例代码也是放在GitHub上，方便大家参考查看。 简介 Azure是微软的公有云，它提供了一些免费的资源，具体可以查看： https://azure.microsoft.com/en-us/ ......
小公司需要使用微服务架构吗？
一、使用微服务的四大门派 2.1、跟风派 技术大环境分析，到目前为止（2023.02）技术大环境： 各大公司都在宣传微服务以及自家实践情况 各种技术媒体也发布很多关于微服务的文章 和别人讨论技术相关的架构时，必然会提到微服务架构 这样的氛围下，微服务这 3 个字时不时的出现在眼前，加深你对它的印象。 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
基于昇腾计算语言AscendCL开发AI推理应用
摘要：本文介绍了昇腾计算语言AscendCL的基本概念，并以示例代码的形式介绍了如何基于AscendCL开发AI推理应用，最后配以实际的操作演示说明如何编译运行应用。 本文分享自华为云社区《基于昇腾计算语言AscendCL开发AI推理应用》，作者：昇腾CANN。 初始AscendCL AscendC ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......
大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介
📚️Reference: IoT 边缘计算系列文章 什么是边缘容器？ 边缘容器的概念 边缘容器是分散的计算资源，尽可能靠近最终用户或设备，以减少延迟、节省带宽并增强整体数字体验。 可以访问互联网的设备数量每天都在增加。有包括但不限于： 智能电视 智能家居 智能手机 智能汽车 物联网 IoT 创造的 ......
大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 📚️Reference: IoT 边缘计算系列文章 Rancher + K3s 简介 Rancher： Kubernetes 统一管理平台， Rancher 是为采用容器的团队提供的一个完整的软件栈。它解决了管理多个 K ......
大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 📚️Reference: IoT 边缘计算系列文章 HashiCorp 解决方案 - Nomad + Docker 简介 Nomad: 一个简单而灵 ......
K8S Pod Sidecar 应用场景之一-加入 NGINX Sidecar 做反代和 web 服务器
Kubernetes Pod Sidecar 简介 Sidecar 是一个独立的容器，与 Kubernetes pod 中的应用容器一起运行，是一种辅助性的应用。 Sidecar 的常见辅助性功能有这么几种： 服务网格 (service mesh) 代理 监控 Exporter（如 redis ex ......
透明多级分流系统（架构扫盲贴）
引子 现代互联网系统，架构设计时避不开的一点就是流量规划、负载均衡。期望做到透明、多级的分流系统。“多级”就是在各个层面的技术组件来分流，“透明”就是业务无感知（甚至是技术无感知）。本文期望能够给各位架构师作为扫盲贴使用。 两条普适性原则： 1.尽最大限度减少到达单点部件的流量。引导请求分流至最合适 ......
【ARM架构】armv8 系统安全概述
ARMv8-A 系统中的安全 一个安全或可信的操作系统保护着系统中敏感的信息，例如，可以保护用户存储的密码，信用卡等认证信息免受攻击。 安全由以下原则定义： 保密性：保护设备上的敏感信息，防止未经授权的访问。有以下几种方法可以做到，比如密码和加密密钥。 完整性：使用公钥来保护敏感信息防止被修改。 可 ......
基于Vue3+TS的Monorepo前端项目架构设计与实现
写在前面 你好，我是前端程序员鼓励师岩家兴！去年在另一个项目https://juejin.cn/post/7121736546000044046中，我向读者朋友们介绍了结合npm包管理工具yarn作vue3项目的monorepo架构设计。今天，在这个风和日丽阳光明媚的钱塘江畔，我心情很好，我打算再写 ......
如何优化 Vue.js 应用程序
单页面应用（SPAs）当处理实时、异步数据时，可以提供丰富的、可交互的用户体验。但它们也可能很重，很臃肿，而且性能很差。在这篇文章中，我们将介绍一些前端优化技巧，以保持我们的Vue应用程序相对精简，并且只在需要的时候提供必需的JS。 注意：这里假设你对Vue和Composition API有一定的熟 ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
聊一聊HTTPS双向认证的简单应用
背景 在三方接口对接中，偶尔会遇到需要传递证书的情况，这种方式其实是在SSL握手过程中会同时验证客户端和服务器的身份，这就是我们常说的 双向认证。 双向认证需要服务器和客户端提供身份认证，只能是服务器允许的客户方能访问，安全性相对于要高一些。 下面老黄用几个小例子来演示一下双向认证的简单应用。 准备 ......
RocketMQ 5.0 vs 4.9.X 图解架构对比
本文作者：李伟，Apache RocketMQ Committer，RocketMQ Python客户端项目Owner ，Apache Doris Contributor，腾讯云数据库开发工程师。 01 RocketMQ 4.9.X架构 在4.9.X中每个组件和组件之间的通信简单说明如下： | 组件 ......
前端程序员是怎么做物联网开发的
前端程序员是怎么做物联网开发的 上图是我历时一周做的在线的温湿度可视化项目，可以查看截至目前往前一天的温度、湿度变化趋势，并且实时更新当前温湿度 本文可能含有知识诅咒 概述和基础讲解 该项目用到的技术有： 前端：jq、less、echarts、mqtt.js 后端：eggjs、egg-emqtt 数 ......
深入理解跳表及其在Redis中的应用
跳表可以达到和红黑树一样的时间复杂度 O(logN)，且实现简单，Redis 中的有序集合对象的底层数据结构就使用了跳表。本篇文章从调表的基础概念、节点、初始化、添加方法、搜索方法以及删除方法出发，介绍了调表的完整代码以及调表在redis中的应用。 ......
Redis避坑指南：为什么要有分布式锁？
JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑；
多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人；
分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑；
换句话说，JUC的锁和分布式锁都是一种保护系统资... ......
statefulset详解及为何结合headless service部署有状态应用
1.1 有状态应用管理statefulset StatefulSet（有状态集，缩写为sts）常用于部署有状态的且需要有序启动的应用程序，比如在进行SpringCloud项目容器化时，Eureka的部署是比较适合用StatefulSet部署方式的，可以给每个Eureka实例创建一个唯一且固定的标识符 ......
Azure Artifacts--全平台的程序包管理仓库(支持nuget)
写在前面 大部分一定规模的团队都有搭建私有nuget的需求；例如： MyGet BaGet 而我们使用的Azure DevOps 平台本身就提供了Artifacts， Artifacts不单只支持nuget包，还支持Npm、Maven、pip等； 这里简单说说nuget的Azure Devops A ......
redis实现分布式锁（包含代码以及分析利弊）
redis实现分布式锁（基础版） 使用redis实现分布式锁的方法有多种，基础版本是基于setnx命令，即如果不存在则设置。这个命令可以保证只有一个客户端能够成功设置一个key，从而获得锁。设置key的时候需要设置一个过期时间，以防止死锁。释放锁的时候需要删除key，或者使用lua脚本来保证原子性。 ......
让人眼前一亮的应用「GitHub 热点速览」
大开眼界的一期 GitHub 热门项目，类似 Django 存在的 pynecone，搞定 Windows、Office 激活的 Microsoft-Activation-Scripts，都让我的收藏夹蠢蠢欲动。最不能错过的应该是 hyperswitch，搞定你的支付业务。当然，还有 GitHub ......