分布式 笔记 系统29
用ChatGPT，绘制一个账号系统的C4架构图
hi，我是熵减，见字如面。 昨天我们用ChatGPT来设计一个账号系统，并尝试输出：模型表，类关系图，序列图，状态图等常用的架构设计中常用的元素。 今天，我们继续向更高层级延伸一下，看ChatGPT能不能更进一步释放工程师的生产力，创造更多的可能性。 所以，这次我们就来尝试用ChatGPT，来构建账 ......
react 高效高质量搭建后台系统 系列 —— 前端权限
其他章节请看： react 高效高质量搭建后台系统 系列 权限 本系列已近尾声，权限是后台系统必不可少的一部分，本篇首先分析spug项目中权限的实现，最后在将权限加入到我们的项目中来。 spug 中权限的分析 权限示例 比如我要将应用发布模块的查看权限分给某用户（例如 pjl），可以这样操作： 在角 ......
图解Nginx，系统架构演变 + Nginx反向代理与负载均衡
大家好，我是哪吒。 本系列为SpringCloud微服务系列，先从微服务的入口Nginx开始学习，读哪吒编程，品技术人生。 一、系统架构演变 最开始接触Java语言的时候，我写的第一个项目是图书管理系统，当时是用JSP+servlet写的，感觉很吊的样子，全班领先水平。 慢慢的变成了JSP+SSM架 ......
Ansible 多机自动化工具 初学笔记
此文档仅张聪明同学个人笔记；新负责KTH-RPL Cluster GPU的漫漫学习长路 English Docs: official https://docs.ansible.com/ansible/latest/index.html 中文相关文档： https://ansible.leops.cn ......
[学习笔记]SQL server完全备份指南
@ 本文将介绍如何在日常项目中，对SQL server数据库做备份和还原工作，SQL server的备份/还原机制，详情参见官方文档：备份和还原 Linux 上的 SQL Server 数据库 方式一，使用SQL Server Management Studio 准备工作 连接目标数据库服务器 在目 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ......
记一次 .NET某家装ERP系统 内存暴涨分析
一：背景 1. 讲故事 前段时间微信上有一位老朋友找到我，说他的程序跑着跑着内存会突然爆高，有时候会下去，有什么会下不去，怀疑是不是某些情况下存在内存泄露，让我帮忙分析一下，其实内存泄露方面的问题还是比较好解决的，看过这个dump之后觉得还是有一定的分享价值，拿出来和大家分享一下吧。 二：WinDb ......
计网学习笔记一 Networking && Internet
参考书籍： James F. Kurose, Keith W. Ross. 计算机网络—自顶向下方法 (7th). 机械工业出版社，2018. William Stallings. 数据与计算机 通信 (8th). 电子工业出版社 **课程网站地址：**https://cs.nju.edu.cn/l ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......
透明多级分流系统（架构扫盲贴）
引子 现代互联网系统，架构设计时避不开的一点就是流量规划、负载均衡。期望做到透明、多级的分流系统。“多级”就是在各个层面的技术组件来分流，“透明”就是业务无感知（甚至是技术无感知）。本文期望能够给各位架构师作为扫盲贴使用。 两条普适性原则： 1.尽最大限度减少到达单点部件的流量。引导请求分流至最合适 ......
【ARM架构】armv8 系统安全概述
ARMv8-A 系统中的安全 一个安全或可信的操作系统保护着系统中敏感的信息，例如，可以保护用户存储的密码，信用卡等认证信息免受攻击。 安全由以下原则定义： 保密性：保护设备上的敏感信息，防止未经授权的访问。有以下几种方法可以做到，比如密码和加密密钥。 完整性：使用公钥来保护敏感信息防止被修改。 可 ......
《深入理解java虚拟机》第七章读书笔记——虚拟机类加载机制
系列文章目录和关于我 一丶虚拟机类加载机制是什么 java虚拟机将描述类的数据从class文件加载到内存,并对数据进行校验，转换解析和初始化，最终形成可用被虚拟机直接使用的java类型。 二丶类加载时机 1.什么时候会触发虚拟机的类类加载昵？ 遇到new（使用new关键字实例化对象），getstat ......
SpringCloud 源码学习笔记2——Feign声明式http客户端源码分析
系列文章目录和关于我 一丶Feign是什么 Feign是一种声明式、 模板化的HTTP客户端。在Spring Cloud中使用Feign,可以做到使用HTTP请求访问远程服务，就像调用本地方法一一样的， 开发者完全感知不到这是在调用远程方法，更感知不到在访问HTTP请求。接下来介绍一下Feign的特 ......
自己动手从零写桌面操作系统GrapeOS系列教程——1.GrapeOS介绍
为了学习操作系统原理我自己写了一个简单的操作系统，取名叫GrapeOS。 GrapeOS是一个x86多任务桌面操作系统，但非常简单，代码只有4千行。 下面我来简单介绍一下GrapeOS。 一、功能介绍 1.桌面 在桌面上可以通过鼠标双击“My Compuer”来打开资源管理器。 2.资源管理器 资源 ......
自己动手从零写桌面操作系统GrapeOS系列教程——4.GrapeOS开发环境介绍
学习操作系统原理最好的方法是自己写一个简单的操作系统。 1. 开发环境简介 为了减少开发过程中不必要的麻烦，希望大家的开发环境尽量与我的保持一致。 我的开发环境如下： Windows10电脑一台 Visual Studio Code（最好是最新版） VirtualBox 6.0.24 CentOS ......
自己动手从零写桌面操作系统GrapeOS系列教程——5.GrapeOS开发环境测试
学习操作系统原理最好的方法是自己写一个简单的操作系统。 在上一讲中我们已经安装配置了开发环境，在本讲中我们来测试一下开发环境是否正常。 我们的测试流程如下： 1.在Visual Studio Code中编写GrapeOS代码； 2.在CentOS中编译GrapeOS代码； 3.在QEMU中运行Gra ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
嵌入式Linux—输入子系统
输入系统 常见的输入设备有键盘、鼠标、遥控杆、书写板、触摸屏等等,用户通过这些输入设备与Linux系统进行数据交换。 内核中怎样表示一个输入设备 // include/linux/input.h struct input_dev { const char *name; //设备名称 const ch ......
React Native学习笔记----React Native简介与环境安装
React Native 的基础是React， 是在 web 端非常流行的开源 UI 框架。要想掌握 React Native，先了解 React 框架本身是非常有帮助的。 一、什么是React Native 1.1 React Native带来的惊喜 React Native 是一个使用JavaS ......
webrtc QOS笔记一 Neteq直方图算法浅读
webrtc QOS笔记一 Neteq直方图算法浅读 想起博客园帐号了，回来填点webrtc qos的坑， 本文分析个很好用的直方图算法，不仅可以在音频里面计算抖动延迟，我发现用来统计丢包率也很好用. Histogram Algorithm DelayManager::Update()->Histo ......
大神之路-起始篇 | 第1章.计算机科学导论之【基础绪论】学习笔记
前言：当前作为一名IT互联网从业者，计算机技术日新月异，每天都有新概念、新技术的出现，而像我这样的万金油来说，越学到后面就越吃力，遇到瓶颈问题也随之增多，因为本身非科班出身，加之半路出家，针对于计算机基础知识掌握不牢或者说是不完整，所以我痛定思痛，下定决心重新学习计算机相关基础知识，从计算机科学导论... ......
微机原理与系统设计笔记6 | 存储器系统设计
本部分介绍存储器及其扩展方法，基本的存储器芯片功能，8088系统的存储器扩展设计、8086系统的存储器扩展设计以及译码电路的手写画图。 ......
Redis避坑指南：为什么要有分布式锁？
JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑；
多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人；
分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑；
换句话说，JUC的锁和分布式锁都是一种保护系统资... ......
【论文笔记】UNet
【深度学习】总目录 语义分割的U-Net网络是2015年诞生的模型，它几乎是当前segmentation项目中应用最广的模型。Unet能从更少的训练图像中进行学习，当它在少于40张图的生物医学数据集上训练时，IOU值仍能达到92%。Unet网络非常简单，前半部分作用是特征提取，后半部分是上采样。在一 ......