分布式redlock redis core
redis（1）NoSQL数据库简介
1.1 技术发展 redis是用来解决性能问题的数据库 技术的分类： 解决功能性问题：Java、Jsp、RDBMS、Tomcat、HTML、Linux、JDBC、SVN 解决扩展性问题：Struts、Spring、SpringMVC、Hibernate、Mybatis 解决性能问题：NoSQL、Ja ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
从 PyTorch DDP 到 Accelerate 到 Trainer，轻松掌握分布式训练
概述 本教程假定你已经对于 PyToch 训练一个简单模型有一定的基础理解。本教程将展示使用 3 种封装层级不同的方法调用 DDP (DistributedDataParallel) 进程，在多个 GPU 上训练同一个模型： 使用 pytorch.distributed 模块的原生 PyTorch ......
多变量两两相互关系联合分布图的Python绘制
本文介绍基于Python中seaborn模块，实现联合分布图绘制的方法。 联合分布（Joint Distribution）图是一种查看两个或两个以上变量之间两两相互关系的可视化图，在数据分析操作中经常需要用到。一幅好看的联合分布图可以使得我们的数据分析更加具有可视性，让大家眼前一亮。 那么，本文就将 ......
.Net Core(.Net6)创建grpc
1.环境要求 .Net6,Visual Studio 2019 以上 官方文档： https://learn.microsoft.com/zh-cn/aspnet/core/tutorials/grpc/grpc-start Net Framework 版本： https://www.cnblogs ......
学习ASP.NET Core Blazor编程系列二十六——登录（5）
登录的本质原理同网页应用是一样的，一般的流程是：用户打开登页--》输入账号密码后提交表单--》服务端验证成功后生成cookie信息写入浏览器--》之后用户访问页面时浏览器会带上此cookie信息作为用户标识--》服务端解析此cookie信息就能识别这个用户了。
在webapi出现之后，... ......
学习ASP.NET Core Blazor编程系列二十七——JWT登录（1）
JWT只是缩写，全称则是JSON Web Tokens，是目前流行的跨域认证解决方案，是基于开放标准RFC7519，提供一种身份认证与信息交换的解决方案，是一种基于JSON的用于在网络上声明某种主张的令牌（token）。
由于http的连接是状态的特性，server端和client是不... ......
(二) MdbCluster分布式内存数据库——分布式架构
(二) MdbCluster分布式内存数据库——分布式架构 上一篇： (一) MdbCluster分布式内存数据库——基础架构介绍 分布式架构是MdbCluster的核心关键，业界有很多相关的实现，却很少有文章详细的解释每个架构实现背后的细节和这么做的原因。在MdbCluster整个研发和测试的过程 ......
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整
(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 上一篇： (二) MdbCluster分布式内存数据库——分布式架构 昨天我们在测试节点动态扩缩容时，发现了一个小bug。开始时我想当然“头疼医头，脚疼医脚”地安排开发在问题发生的地方修掉这个bug。早上刚好要一起开会，顺便讨论 ......
如何将 Autofac 整合进 Net6.0 Core MVC 项目中
一、前言 1、简而言之 Asp.Net Core Mvc，我也用了很长一段时间了，它现在的编程模型和方式还是特别棒的，都是组件开发，什么都可以替换，当然了，您别抬杠，有些还是不能替换的。自从我们进入了跨平台开发的时代，IOC容器也成了一个不可或缺的东西了。微软为我们提供了一个默认实现，那就是 ISe ......
ASP.NET Core知识之RabbitMQ组件使用（二）
近期，业务调整，需要内网读取数据后存入到外网，同时，其他服务器也需要读取数据,于是我又盯上了RabbitMQ。在展开业务代码前，先看下RabbitMQ整体架构，可以看到Exchange和队列是多对多关系。 下面，我们详细说说RabbitMQ的队列模式：简单队列、工作队列、发布订阅模式、路由模式、主题 ......
深入理解跳表及其在Redis中的应用
跳表可以达到和红黑树一样的时间复杂度 O(logN)，且实现简单，Redis 中的有序集合对象的底层数据结构就使用了跳表。本篇文章从调表的基础概念、节点、初始化、添加方法、搜索方法以及删除方法出发，介绍了调表的完整代码以及调表在redis中的应用。 ......
Redis避坑指南：为什么要有分布式锁？
JUC提供的锁机制，可以保证在同一个JVM进程中同一时刻只有一个线程执行操作逻辑；
多服务多节点的情况下，就意味着有多个JVM进程，要做到这样，就需要有一个中间人；
分布式锁就是用来保证在同一时刻，仅有一个JVM进程中的一个线程在执行操作逻辑；
换句话说，JUC的锁和分布式锁都是一种保护系统资... ......
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（3）-系统数据集合设计
前言 前几章教程我们把ToDoList系统的基本框架搭建好了，现在我们需要根据我们的需求把ToDoList系统所需要的系统集合（相当于关系型数据库中的数据库表）。接下来我们先简单概述一下这个系统主要需要实现的功能以及实现这些功能我们需要设计那些数据库集合。 MongoDB从入门到实战的相关教程 Mo ......
redis实现分布式锁（包含代码以及分析利弊）
redis实现分布式锁（基础版） 使用redis实现分布式锁的方法有多种，基础版本是基于setnx命令，即如果不存在则设置。这个命令可以保证只有一个客户端能够成功设置一个key，从而获得锁。设置key的时候需要设置一个过期时间，以防止死锁。释放锁的时候需要删除key，或者使用lua脚本来保证原子性。 ......
ASP.NET Core - 入口文件
1. 入口文件 一个应用程序总有一个入口文件，是应用启动代码开始执行的地方，这里往往也会涉及到应用的各种配置。当我们接触到一个新框架的时候，可以从入口文件入手，了解入口文件，能够帮助我们更好地理解应用的相关配置以及应用的工作方式。 .Net Core 应用的入口文件是 Program.cs，这里是应 ......
ASP.NET Core - IStartupFilter 与 IHostingStartup
1. IStartupFilter 上面讲到的方式虽然能够根据不同环境将Startup中的启动逻辑进行分离，但是有些时候我们还会可以根据应用中的功能点将将一系列相关中间件的注册封装到一起，从 Startup 类中分离，单独进行维护，以便更清晰地管理我们的代码。 这时候我们可以实现 IStartupF ......
用Java写一个分布式缓存——RESP服务端
本篇我们将完成一个RESP的socket的服务端，初步完成一个单机版缓存。
另外我们还需要完成命令的动态路由。
源码：https://github.com/weloe/Java-Distributed-Cache ......
【Redis场景3】缓存穿透、击穿问题
【Redis场景3】缓存穿透、击穿问题，涉及缓存穿透、缓存击穿问题的原因分析及解决方案，并进行压测实践；每1~2周学习整理redis中的知识点和场景实现，希望有所输入输出，每天进步一点点。 ......
【Redis场景4】单机环境下秒杀问题
【Redis场景4】单机环境下秒杀问题；涉及到全局唯一ID的生成，并发问题，库存超卖问题，一人一单秒杀问题等，相关场景进行压测，不局限于文字，注重实操。 ......
分布式配置nacos搭建踩坑指南(下)
上一篇介绍了在配置nacos中的碰到的坑，这一篇介绍一下如何正确进行nacos的环境搭建和配置，所以本文分为两部分，第一部分为环境搭建，介绍如何安装和运行。第二部分为alibaba Sprint Boot配置，介绍如何正确配置。 注意：本文基于nacos 2.2.0,alibaba Spring B ......
【ASP.NET Core】动态映射MVC路由
ASP.NET Core 中的几大功能模块（Razor Pages、MVC、SignalR/Blazor、Mini-API 等等）都以终结点（End Point）的方式公开。在HTTP管道上调用时，其扩展方法基本是以 Map 开头，如 MapControllers、MapBlazorHub。 对于 ......
05安装一个Hadoop分布式集群
安装一个Hadoop分布式集群 最小化的Hadoop已经可以满足学习过程中大部分需求，但是为了研究Hadoop集群运行机制，部署一个类生产的环境还是有必要的。因为集群机器比较少，笔者没有配置ssh，所以就需要在每一台机器上手动启动服务。启动上相对繁琐一些，优点是可以高度自定义集群中的任务节点数量，从 ......
Asp.Net Core中利用过滤器控制Nginx的缓存时间
前言 Web项目中很多网页资源比如html、js、css通常会做服务器端的缓存，加快网页的加载速度 一些周期性变化的API数据也可以做缓存，例如广告资源位数据，菜单数据，商品类目数据，商品详情数据，商品列表数据，公共配置数据等，这样就可以省去很多在服务端手动实现缓存的操作 最早资源缓存大部分都用Ex ......
分布式事务 | 使用DTM 的Saga 模式
DTM 首创的子事务屏障技术，使得开发者基于DTM 提供的SDK能够轻松开发出更可靠的分布式应用，彻底将开发人员从网络异常的处理中解放出来，再也不用担心空补偿、防悬挂、幂等等分布式问题。如果要进行分布式事务框架的选型，DTM 将是不二之选。 ......
分布式事务 | 使用 dotnetcore/CAP 的本地消息表模式
本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递，下游业务订阅消息进行消费，本质上是依靠消息的重试机制达到最终一致性。 ......
ASP.NET Core RESTful学习理解
一、了解什么是REST REST是“REpresentational State Transfer”的缩写 ，表述性状态传递；REST是一种软件架构风格，用于构造简单、可靠、高性能的WEB应用程序；REST中，资源(Resource)是最基本的概念，任何能够命名的对象都是一个资源，每个资源都有一个统 ......
在 Asp.Net Core 中什么是认证和授权
认证（Authentication） 和 授权（Authorization）在 Asp.Net core 充当了两个不同的职责。有的老伙计在理解的时候还存在误解。本文我们将会通过一些简单的例子来说明这两个概念。 ......