分布式 中间件 专题 系统
如何设计一个最简化的推荐系统
互联网时代，数据呈爆炸式增长，前所未有的数据量远远超过受众的接收和处理能力，因此，从海量复杂数据中有效获取关键性有用信息成为必须解决的问题。
面对信息过载问题，人们迫切需要一种高效的信息过滤系统,“推荐系统”应运而生。
20世纪90年代以来，尽管推荐系统在理论、方法和应用方面取得了系列重要进展，但数... ......
linux系统安装MySQL服务，详细图文教程
注：linux系统在安装操作系统时，如果选择了开发工具和兼容库后，一般默认都会安装MySQL服务的部分程序包。如果我们要自定义的安装全新的MySQL服务，就必须先把这些已经安装的程序包都卸载掉。否则，后面这些程序包会给我们带来很多麻烦。 1、查看系统里是否有安装MySQL相关的程序包。 rpm -q ......
自己动手从零写桌面操作系统GrapeOS系列教程——6.电脑启动过程介绍
学习操作系统原理最好的方法是自己写一个简单的操作系统。 按一下电脑上的电源按钮，电脑就启动了，不一会儿电脑屏幕上就出现了登录界面或直接进入了桌面。 这是一个很日常的场景，但有时候会有个疑问：电脑内部是如何启动的？本讲我们就简单的介绍一下。 因为本教程属于入门型，不考虑UEFI等比较新的技术，但不影响 ......
深入理解计算机系统（CSAPP）bomblab实验进阶之nuclearlab——详细题解
前言 本实验是难度高于bomblab的一个补充实验，该实验部分题目难度已经达到CTF入门水平，且这个实验据说是上一届的某个学长原创，因此互联网上几乎找不到类似的题目。在间断地思考了几周后我最终完成了所有题目，并打算在这篇随笔里详细地给大家分享我的解题过程。 核弹样本（可本地断网运行）：https:/ ......
【NLP 系列】Bert 词向量的空间分布
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于 Word2Vec、Glove 等并没有明显的提升。 ......
取出预训练模型中间层的输出(pytorch)
1 遍历子模块直接提取 对于简单的模型，可以采用直接遍历子模块的方法，取出相应name模块的输出，不对模型做任何改动。该方法的缺点在于，只能得到其子模块的输出，而对于使用nn.Sequensial()中包含很多层的模型，无法获得其指定层的输出。 示例 resnet18取出layer1的输出 from ......
SpringCloud微服务实战——搭建企业级开发框架（五十）：集成移动端推送功能的系统通知公告数据库设计
系统的通知公告功能似乎是很容易被忽略的功能模块，在传统的软件系统中，一般OA类软件系统不可或缺，而在应用软件系统中此功能或有或无，在现在大多数的互联网软件系统中，此功能又必不可缺。所以，在框架设计时，我们需要考虑业务系统是否需要此功能模块，然后将此功能作为扩展插件，在需要时开启，在不需要时配置关闭即 ......
redis分布式锁的实现
一.正常加锁 当两个用户同时注册一个用户名时，为保证用户名不能重复，因此对其注册的用户名加锁。 具体步骤： 获得用户注册的用户名，进行判断，如果为空则对其进行加锁，保存到数据库，释放锁资源。 二.线程出现阻塞 当A线程加锁后出现阻塞时，导致数据还没有存到数据库，锁的时间便会失效。 B线程便会执行，对 ......
【CTO变形记】整体系统思维-从现象到本质
前言：我们的⼤脑⾥的认知不是⼀块⽩板，⽽是写满着密密麻麻对这个世界形成的各种观念、信念。塞满了对事物的各个表象，我们脑中的表象世界，对应着外部世界的各种事物。 如果感觉本篇看起来有点不适应，可以看看之前的几篇，再回来这边： 【CTO变形记】驱动力的选择 【CTO变形记】有序定无序—为什么越努力，越无 ......
推荐一款.Net Core开发的后台管理系统YiShaAdmin
若依（RuoYi）是码云上一款精美的开源快速开发平台，作者毫无保留给个人及企业免费使用。RuoYi目前有三个版本：普通版本（RuoYi）、前后端分离版本（RuoYi-Vue）、微服务版本（RuoYi-Cloud）。.net的小伙伴们估计很羡慕JAVA的生态，现在.net core发展也很快，奈何生态 ......
ASP.NET Core - 自定义中间件
上一章讲了请求管道与中间件的基本概念和工作模式，也介绍了 ASP.NET Core 中内置的中间件，这一章介绍一下如何自定义中间件，这是很常用也很重要的内容，日常工作中很多场景我们都可以自定义自己的中间件，通过对请求管道进行拦截执行我们自己的业务逻辑，实现各种需求。这也是 ASP.NET Core ......
ASP.NET Core - 请求管道与中间件
1. 请求管道 请求管道是什么？请求管道描述的是一个请求进到我们的后端应用，后端应用如何处理的过程，从接收到请求，之后请求怎么流转，经过哪些处理，最后怎么返回响应。请求管道就是一次请求在后端应用的生命周期。了解请求管道，有助于我们明白后端应用是怎么工作的，我们的代码是怎么工作的，在我们的业务代码执行 ......
解密游戏推荐系统的建设之路
本文从零开始介绍了游戏推荐项目的发展历程，阐述了大型项目建设中遇到的业务与架构问题以及开发工程师们的解决方案，描绘了游戏推荐项目的特点以及业务发展方向，有着较好的参考与借鉴意义。 ......
vivo 自研Jenkins资源调度系统设计与实践
本文从目前业界实现Jenkins的高可用的实现方案，分析各方案的优缺点，引入vivo目前使用的Jenkins高可用方案，以及目前Jenkins资源的调度方案的设计实践和目前的落地运行效果。 ......
推荐系统[八]算法实践总结V0：腾讯音乐全民K歌推荐系统架构及粗排设计
推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：
1. 召回是源头，在某种意义上决定着整个推荐的天花板；
2. 粗排是初筛，一般不会上复杂模型；
3. 精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；
4. 重排，一般是做打散或满足业务运营的特定强插需求，同样不会使用复杂模型... ......
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】 ......
推荐一个分布式单点登录框架XXL-SSO!
有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
用ChatGPT，快速设计一个真实的账号系统
hi，我是熵减，见字如面。 用ChatGPT，可以尝试做很多的事情。 今天我们就来让ChatGPT做为架构师，来帮我们设计一个账号系统吧。 我的实验过程记录如下，与你分享。 用户故事 首先，我们从用户故事开始吧。 提示：我们从用户故事开始，需要设计一个网站的账号系统模型，其中包括账号基础信息实体，邮 ......
react 高效高质量搭建后台系统 系列 —— 结尾
其他章节请看： react 高效高质量搭建后台系统 系列 尾篇 本篇主要介绍表单查询、表单验证、通知（WebSocket）、自动构建。最后附上 myspug 项目源码。 项目最终效果： 表单查询 需求：给角色管理页面增加表格查询功能，通过输入角色名称，点击查询，从后端检索出相应的数据。 效果如下： ......
用ChatGPT，绘制一个账号系统的C4架构图
hi，我是熵减，见字如面。 昨天我们用ChatGPT来设计一个账号系统，并尝试输出：模型表，类关系图，序列图，状态图等常用的架构设计中常用的元素。 今天，我们继续向更高层级延伸一下，看ChatGPT能不能更进一步释放工程师的生产力，创造更多的可能性。 所以，这次我们就来尝试用ChatGPT，来构建账 ......
react 高效高质量搭建后台系统 系列 —— 前端权限
其他章节请看： react 高效高质量搭建后台系统 系列 权限 本系列已近尾声，权限是后台系统必不可少的一部分，本篇首先分析spug项目中权限的实现，最后在将权限加入到我们的项目中来。 spug 中权限的分析 权限示例 比如我要将应用发布模块的查看权限分给某用户（例如 pjl），可以这样操作： 在角 ......
图解Nginx，系统架构演变 + Nginx反向代理与负载均衡
大家好，我是哪吒。 本系列为SpringCloud微服务系列，先从微服务的入口Nginx开始学习，读哪吒编程，品技术人生。 一、系统架构演变 最开始接触Java语言的时候，我写的第一个项目是图书管理系统，当时是用JSP+servlet写的，感觉很吊的样子，全班领先水平。 慢慢的变成了JSP+SSM架 ......
精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南
时间轮的介绍 时间轮（TimeWheel）是一种实现延迟功能（定时器）的精妙的高级算法，其算法应用范围非常广泛，在Java开发过程中常用的Dubbo、Netty、Akka、Quartz、ZooKeeper 、Kafka等各种框架中，各种操作系统的定时任务crontab调度都有用到，甚至Linux内核 ......
云原生时代顶流消息中间件Apache Pulsar部署实操-上
本篇先部署Apache Pulsar 最新版本2.11.0的 Locally Standalone，并通过创建Topic、生产消息和消费消息验证基础环境;接着通过二进制也即是所谓裸机部署方式一步步演示如何部署Pulsar的分布式集群，并通过Admin客户端验证基于租户、命名空间一些消息管理和使用简单... ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
Centos7系统编译Hadoop3.3.4
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 ......