分布式opentelemetry基础知识 架构
redis分布式锁的实现
一.正常加锁 当两个用户同时注册一个用户名时，为保证用户名不能重复，因此对其注册的用户名加锁。 具体步骤： 获得用户注册的用户名，进行判断，如果为空则对其进行加锁，保存到数据库，释放锁资源。 二.线程出现阻塞 当A线程加锁后出现阻塞时，导致数据还没有存到数据库，锁的时间便会失效。 B线程便会执行，对 ......
.Net Core后端架构实战【1-项目分层框架设计】
摘要：基于.NET Core 7.0WebApi后端架构实战【1-项目结构分层设计】 2023/02/05, ASP.NET Core 7.0, VS2022 引言 从实习到现在回想自己已经入行四年了，很庆幸自己一直还是从事着开发的工作。这几年不管是工作还是生活都有很多不甘与失落还有收获，从学校出来 ......
视觉SLAM基础-李群和李代数
李群和李代数 引言 为什么会有李群和李代数的引出。在通常的 SLAM 中，我们估计的无非就是在极短的时间内物体的一个相对位姿运动，然后进行累加，即可得到物体的当前位置，即 SLAM 中的定位问题，但是往往该运动在较短的时间内其变化量是极小的。 通常其运动变化我们可以使用旋转加平移进行表示，即 ......
【白话科普】聊聊网络架构变革的关键——SDN
最近二狗子在网上冲浪的时候，不小心将 CDN 搜索成了 SDN，结果跳出来了一大堆相关的知识点。 好学的二狗子当然不会随随便便糊弄过去，于是认认真真学习了好久，终于了解了 SDN 是什么。 原来，SDN 的全称是 Software Defined Networking，是一类将网络控制平面与数据平面 ......
推荐系统[八]算法实践总结V0：腾讯音乐全民K歌推荐系统架构及粗排设计
推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：
1. 召回是源头，在某种意义上决定着整个推荐的天花板；
2. 粗排是初筛，一般不会上复杂模型；
3. 精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；
4. 重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型... ......
算法基础模板
时空复杂度分析 一般ACM或者笔试题的时间限制是1秒或2秒。在这种情况下，C++代码中的操作次数控制在10^7^～10^8^为最佳。下面给出在不同数据范围下，代码的时间复杂度和算法该如何选择: n ≤ 30，指数级别，dfs+剪枝，状态压缩dp n ≤ 100 => O(n^3^)，floyd，dp ......
Git基础操作及协作流程
一整套流程帮你实践整个 Git 操作基础及协作流程。 来源：https://docs.microsoft.com/zh-cn/learn/paths/intro-to-vc-git/ Git 介绍 配置 Git 确认已经安装 git git --version 输出 git version 2.30 ......
推荐一个分布式单点登录框架XXL-SSO!
有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ......
Terraform基础入门 (Infrastructure as Code)
像写代码一样管理基础设施。
Terraform 使用较为高级的配置文件语法来描述基础设施，这个特性让你对配置文件进行版本化管理后，就等于对生产环境的基础设施进行类似于代码一样的版本化管理，而且这些基础设施的配置文件可以复用或者分享。 ......
用ChatGPT，绘制一个账号系统的C4架构图
hi，我是熵减，见字如面。 昨天我们用ChatGPT来设计一个账号系统，并尝试输出：模型表，类关系图，序列图，状态图等常用的架构设计中常用的元素。 今天，我们继续向更高层级延伸一下，看ChatGPT能不能更进一步释放工程师的生产力，创造更多的可能性。 所以，这次我们就来尝试用ChatGPT，来构建账 ......
C4模型，架构设计图的脚手架，你值得拥有
hi，我是熵减，见字如面。 对于软件开发团队来说，写软件设计文档，花架构图，是日常工作中的关键一项。 而其中，如何画好系统设计的架构图呢？ Simon Brown 就 提出 C4 模型，来解决这个问题。 基于C4模型的脚手架，架构师们就可以统一团队内的不同层级的视角，交付一个成体系的架构设计。 下面 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
linux 基础（10）进程管理
使用 ps 观察程序 ps -l ps程序可以查询当前在运行的进程信息。ps -l可以列出详细的信息，默认仅列出当前 bash 相关的进程。 sudo -i ps -l F S UID PID PPID C PRI NI ADDR SZ WCHAN TTY TIME CMD 4 S 0 2133 2 ......
图解Nginx，系统架构演变 + Nginx反向代理与负载均衡
大家好，我是哪吒。 本系列为SpringCloud微服务系列，先从微服务的入口Nginx开始学习，读哪吒编程，品技术人生。 一、系统架构演变 最开始接触Java语言的时候，我写的第一个项目是图书管理系统，当时是用JSP+servlet写的，感觉很吊的样子，全班领先水平。 慢慢的变成了JSP+SSM架 ......
Solon2 之基础：一、常用应用配置说明
约定参考： //资源路径约定（不用配置；也不能配置） resources/app.yml（ 或 app.properties ） #为应用配置文件 resources/WEB-INF/static/ #为静态文件根目标 resources/WEB-INF/view/ #为视图模板文件根目标（支持多视 ......
【多线程与高并发】- 线程基础与状态
所谓线程就是操作系统(OS)能够进行运算调度的最小单位，是一个基本的CPU执行单元，也是执行程序流的最小单元。能够提高OS的并发性能，减小程序在并发执行时所付出的时空开销。线程是进程的一个实体，是被系统独立调度和分派的基本单位。 ......
U-Boot 基础概念与学习分享
文章对 u-boot 学习路线进行了简单介绍， 并从 u-boot 构建框架着手解构 u-boot， 以 Kconfig 为索引文件自底向上分析框架。 除此之外还介绍了 Boot Loader 的几个基本流程， 对其中的 TPL 过程进行了剖析。 ......
小公司需要使用微服务架构吗？
一、使用微服务的四大门派 2.1、跟风派 技术大环境分析，到目前为止（2023.02）技术大环境： 各大公司都在宣传微服务以及自家实践情况 各种技术媒体也发布很多关于微服务的文章 和别人讨论技术相关的架构时，必然会提到微服务架构 这样的氛围下，微服务这 3 个字时不时的出现在眼前，加深你对它的印象。 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
零基础解读ChatGPT：对人类未来工作是威胁还是帮助？
摘要：火到现在的ChatGPT到底是什么？它背后有哪些技术？对于我们的工作和生活会有啥影响？快来一起了解吧~ 本文分享自华为云社区《零基础解读ChatGPT：对人类未来工作是威胁还是帮助？》，作者：关耳山石。 前言 年前到现在，一直被ChatGPT的新闻轰炸，现在还越来越热闹了，关于ChatGPT技 ......
Nginx基础02：配置文件nginx.conf（Part1）
我们使用Nginx主要是通过其配置文件nginx.conf来实现的。按照一定的规则，编写特定的指令，可以帮助我们实现对Web服务的控制！所以，学习Nginx的用法，几乎就是学习nginx.conf！ 如何使用本篇文章 本文作为一篇高度总结和罗列nginx.conf中所有的基础配置项，循规蹈矩地按照文 ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......
大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介
📚️Reference: IoT 边缘计算系列文章 什么是边缘容器？ 边缘容器的概念 边缘容器是分散的计算资源，尽可能靠近最终用户或设备，以减少延迟、节省带宽并增强整体数字体验。 可以访问互联网的设备数量每天都在增加。有包括但不限于： 智能电视 智能家居 智能手机 智能汽车 物联网 IoT 创造的 ......
大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-4-Kubeedge
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......
大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 📚️Reference: IoT 边缘计算系列文章 Rancher + K3s 简介 Rancher： Kubernetes 统一管理平台， Rancher 是为采用容器的团队提供的一个完整的软件栈。它解决了管理多个 K ......
大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 📚️Reference: IoT 边缘计算系列文章 HashiCorp 解决方案 - Nomad + Docker 简介 Nomad: 一个简单而灵 ......
HTTPS基础原理和配置 - 1
近期又碰到了SSL相关的事情, 就心血来潮开个新专题 - 《HTTPS基础原理和配置》 本文是第一篇文章， 主要介绍SSL TLS加密协议的相关内容。 加密协议历史概要 SSL TLS加密协议其实并没有很长的历史，1995年网景发布了SSL v2.0，这也是web加密的开始。这使得电子商务领域，人们 ......