分布式 黑马 实战redis
redis分布式锁的实现
一.正常加锁 当两个用户同时注册一个用户名时，为保证用户名不能重复，因此对其注册的用户名加锁。 具体步骤： 获得用户注册的用户名，进行判断，如果为空则对其进行加锁，保存到数据库，释放锁资源。 二.线程出现阻塞 当A线程加锁后出现阻塞时，导致数据还没有存到数据库，锁的时间便会失效。 B线程便会执行，对 ......
用Redis实现延迟队列，我研究了两种方案，发现并不简单
大家好，我是三友~~ 背景 前段时间有个小项目需要使用延迟任务，谈到延迟任务，我脑子第一时间一闪而过的就是使用消息队列来做，比如RabbitMQ的死信队列又或者RocketMQ的延迟队列，但是奈何这是一个小项目，并没有引入MQ，我也不太想因为一个延迟任务就引入MQ，增加系统复杂度，所以这个方案直接就 ......
.Net Core后端架构实战【1-项目分层框架设计】
摘要：基于.NET Core 7.0WebApi后端架构实战【1-项目结构分层设计】 2023/02/05, ASP.NET Core 7.0, VS2022 引言 从实习到现在回想自己已经入行四年了，很庆幸自己一直还是从事着开发的工作。这几年不管是工作还是生活都有很多不甘与失落还有收获，从学校出来 ......
Vue3 企业级优雅实战 - 组件库框架 - 12 发布开源组件库
前面使用了 11 篇文章分享基于 vue3 、Monorepo 的组件库工程完整四件套（组件库、文档、example、cli）的开发、构建及组件库的发布。本文属于这 11 篇文章的扩展 —— 如何发布到 GitHub 上以及如何快速利用 GitHub 发布组件库文档。这样优雅哥的《组件库框架》系列便 ......
NuGet私有服务器ProGet Docker搭建和公司中实战用法
一、什么时候需要用到NuGet私有服务器 很多公司中架构师会搭建一个统一的项目基础架构模板，然后全部新项目都会拿这个基础架构来开发新的项目，那架构中就会有很多的中间件，比喻公司内部的封装好的Redis中间件，访问数据库的中间件，MQ中间件，小程序中间件等等。 现在很多项目都用这个模板开发了，然后其中 ......
高效、优雅的对象copy之MapStruct入门到精通，实战踩坑版
一、前言 大家在开发中，最让人头疼的就是：对象之间的拷贝，前端的VO和数据库的Entity不一致！ 性能最好的就是手动set，主要是枯燥且无技术含量，不仅耗费大量时间而且很容易出错； 所以我们要成为优秀的程序员，要多借助轮子，开发效率事半功倍，开发技能也是增长不少！ 如果系统性能没有要求，怎么实现都 ......
躬身入局,干货分享,2023年春招后端技术岗(Python)面试实战教程,Offer今始为君发
早春二月，研发倍忙，杂花生树，群鸥竟飞。为什么？因为春季招聘，无论是应届生，还是职场老鸟，都在摩拳擦掌，秣马厉兵，准备在面试场上一较身手，既分高下，也决Offer，本次我们打响春招第一炮，躬身入局，让2023年的第一个Offer来的比以往快那么一点点。 ......
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】
推荐系统[八]算法实践总结V1：淘宝逛逛and阿里飞猪个性化推荐：召回算法实践总结【冷启动召回、复购召回、用户行为召回等算法实战】 ......
推荐一个分布式单点登录框架XXL-SSO!
有关单点登录(SSO)之前有写过两篇文章 一文读懂 JWT! 看完这篇不能再说不懂SSO原理了！ 如果说XXL-JOB你可能并不陌生,它是非常火爆的一个分布式任务调度平台。但其实在该作者还有一个非常优秀的开源项目叫XXL-SSO,这两个个项目都是1000+Star。 XXL-SSO 是一个分布式单点 ......
分布式机器学习：异步SGD和Hogwild!算法（Pytorch）
同步算法的共性是所有的节点会以一定的频率进行全局同步。然而，当工作节点的计算性能存在差异，或者某些工作节点无法正常工作（比如死机）的时候，分布式系统的整体运行效率不好，甚至无法完成训练任务。为了解决此问题，人们提出了异步的并行算法。在异步的通信模式下，各个工作节点不需要互相等待，而是以一个或多个全局... ......
redis georadius源码分析与性能优化
原文地址: https://blog.fanscore.cn/a/51/ 背景 最近接到一个需求，开发中使用了redis georadius命令取附近给定距离内的点。完工后对服务进行压测后发现georadius的性能比预期要差，因此我分析了georadius的源码，并对原始的实现方案进行了优化，总结 ......
chatGPT帮助开发实战解答问题和反思
问题来自.Net开发群友 问题 我想做一个自动生成单据号的功能，但是在EFCORE里没有行级锁，请有什么等价方案吗？ ChatGPT回答 在 EF Core 中确实没有提供行级锁（row-level locking）的功能，因为这需要对数据库进行显式的锁定操作，而 EF Core 的设计理念是尽可能 ......
云服务器安装 redis
下载地址：https://download.redis.io/releases/ 此处示例使用的版本是：redis-6.2.10.tar.gz 前提环境： 云服务器 Xshell（操作终端） Xftp（传输工具） Redis Desktop Manager（redis 可视化客户端，可选） 1. 下 ......
redis（2）概述与安装
前言 redis安装在Linux服务器上，系统为centos7，安装的版本为redis6.2.10 下载与安装 下载地址：https://redis.io/download/#redis-downloads 点击上面的链接就能进入redis下载页面，最新的目前是7.0 这里使用的是6.2.10的版本 ......
redis（10）事务和锁机制
Redis事务定义 Redis 事务是一个单独的隔离操作：事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。 Redis 事务的主要作用就是串联多个命令防止别的命令插队。 Multi、Exec、discard Redis 事务中有 Multi、Ex ......
redis（1）NoSQL数据库简介
1.1 技术发展 redis是用来解决性能问题的数据库 技术的分类： 解决功能性问题：Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN 解决扩展性问题：Struts、Spring、SpringMVC、Hibernate、Mybatis 解决性能问题：NoSQL、Ja ......
一文详解ATK Loss论文复现与代码实战
摘要：该方法的主要思想是使用数值较大的排在前面的梯度进行反向传播，可以认为是一种在线难例挖掘方法，该方法使模型讲注意力放在较难学习的样本上，以此让模型产生更好的效果。 本文分享自华为云社区《ATK Loss论文复现与代码实战》，作者：李长安。 损失是一种非常通用的聚合损失，其可以和很多现有的定义在单 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......
RabbitMQ 延迟消息实战
RabbitMQ 延迟消息实战 现实生活中有一些场景需要延迟或在特定时间发送消息，例如智能热水器需要 30 分钟后打开，未支付的订单或发送短信、电子邮件和推送通知下午 2:00 开始的促销活动。 RabbitMQ 本身没有直接支持延迟队列的功能，如果您搜索“如何在 RabbitMQ 中使用延迟消息” ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
深入理解跳表及其在Redis中的应用
跳表可以达到和红黑树一样的时间复杂度 O(logN)，且实现简单，Redis 中的有序集合对象的底层数据结构就使用了跳表。本篇文章从调表的基础概念、节点、初始化、添加方法、搜索方法以及删除方法出发，介绍了调表的完整代码以及调表在redis中的应用。 ......
Redis避坑指南：为什么要有分布式锁？
JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑；
多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人；
分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑；
换句话说，JUC的锁和分布式锁都是一种保护系统资... ......
三分钟实战手写Spring Boot Starter
1 背景 在平时的开发中，开发的同学会把一些通用的方法，写成一个工具类，例如日期转换的，JSON转换的等等，方便业务后续调用，使代码更容易维护。 如果一些更常用的方法，例如鉴权的，加解密的等等，几乎每个项目都会使用到，这时候开发的同学就会从以前的项目中再抄过来，随着项目的增多，几乎每个项目都有一份一 ......
WAF Bypass 介绍与实战
前言 WAF是英文"Web Application Firewall"的缩写，中文意思是"Web应用防火墙"，也称为"网站应用级入侵防御系统"。WAF是集WEB防护、网页保护、负载均衡、应用交付于一体的WEB整体安全防护设备 WAF从形态上可分为硬件WAF、WAF防护软件和云WAF 以下仅介绍软件W ......
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（3）-系统数据集合设计
前言 前几章教程我们把ToDoList系统的基本框架搭建好了，现在我们需要根据我们的需求把ToDoList系统所需要的系统集合（相当于关系型数据库中的数据库表）。接下来我们先简单概述一下这个系统主要需要实现的功能以及实现这些功能我们需要设计那些数据库集合。 MongoDB从入门到实战的相关教程 Mo ......
redis实现分布式锁（包含代码以及分析利弊）
redis实现分布式锁（基础版） 使用redis实现分布式锁的方法有多种，基础版本是基于setnx命令，即如果不存在则设置。这个命令可以保证只有一个客户端能够成功设置一个key，从而获得锁。设置key的时候需要设置一个过期时间，以防止死锁。释放锁的时候需要删除key，或者使用lua脚本来保证原子性。 ......