分布式redlock redis core
torch 多进程训练和分布式训练
通常来说,多进程没有涉及到梯度同步的概念。 分布式则设计梯度同步。分布式中,如果用cpu,则指定gloo后端。用gpu,则指定nccl后端。 多进程训练 只需要mp.spawn即可,每个进程只负责自己的模型训练,不涉及梯度同步。 例子 https://www.geeksforgeeks.org/mu ......
redis加锁逻辑分析
public boolean tryLock(long waitTime, long leaseTime, TimeUnit unit) throws InterruptedException { //省略部分代码 time -= System.currentTimeMillis() - curre ......
.Net Core拆分execl为多个文件,保持格式样式不变
.Net Core拆分execl文件 简介 一、用途 这是一个.net core写的按照指定行数拆分execl文件的例子,可以将一个execl文件按照指定行数和区域,将execl文件拆分为多个execl文件, 并且使用单元格的数据命名新的文件,在此示例中从A1到M39区域拆分为一个execl, A4 ......
.net core sftp
using Renci.SshNet; /// <summary> /// 上传文件到ftp服务器上 /// </summary> /// <param name="file">文件</param> /// <param name="dateStr">文件时间戳</param> /// <retur ......
windowserver2012服务器部署.net core3.1环境
一、安装.net core3.1要先具备这些系统补丁,如果没有则需要安装,这些 KB 必须按以下顺序安装:(clearcompressionflag.exe、KB2919442、KB2919355、KB2932046、KB2959977、KB2937592、KB2938439、KB2934018) ......
Redis命令整合(五) Zset型
有序集合。使用分数score来标记每个元素 1.添加元素 zadd mathScore 98 jordan 86 james 77 kobe 添加了三个元素,分数在前 2.假如添加的元素已经存在的话,则会替换原来的分数。 zadd mathScore 79 kobe 则将kobe的分数改为79 3. ......
redis-om-python
redis-om-python https://github.com/redis/redis-om-python Redis OM Python makes it easy to model Redis data in your Python applications. Why Redis OM? ......
Redis命令整合(四) Set型
集合类型。元素各不相同没有顺序 1.添加元素 sadd [keyName] [member1] [member2]... eg: sadd letters a b c 2.删除元素 srem [keyName] [member1] [member2]... eg srem letters a b 3 ......
Redis内存淘汰策略
Redis内存过期策略 定时过期 设置有效时间的key一旦过期,立马从内存中删除。好处就是内存及时释放,坏处就是不停扫描key,cpu消耗严重 惰性过期 设置有效时间的key过期,不立马删除key,而是等下一次查询到该key时执行删除动作。好处就是cpu消耗降低,坏处就是消耗内存 定期过期 每过一段 ......
asp.net core 多文件分块同时上传组件
分享一个可多个文件同时上传、断点续传,并实时反馈上传进度的 Asp.Net core 组件。 服务器端 引用 nuget 包:JMS.FileUploader.AspNetCore 然后启用上传组件: app.UseAuthorization(); app.MapControllers(); //启 ......
.NET Core MVC基础之返回文件类型
.NET Core MVC基础之返回文件类型📄 前言 上一篇文章讲了基础的返回类型,这篇文章讲解如何返回文件类型给浏览器下载。 系列文章 .NET MVC基础之页面传值方式 通过图片流来返回图片 返回类型介绍 在返回文件之前,要知道MIME 类型,这里介绍常用的几种: text/plain:纯文本 ......
SQL server不同域之间搭建分布式可用性组
配置 Always On 分布式可用性组 要创建分布式可用性组,必须创建两个具有各自侦听程序的可用性组。 然后将这些可用性组合并到分布式可用性组中。 两个可用性组无需处于同一位置:它们可以跨物理机、虚拟机;跨内网、云上;跨有域、无域;甚至跨平台(如Linux、Windows)。只要两个可用性组可以进 ......
docker swarm 部署一主两从的redis集群
docker-compose文件准备 docker-compose-redis-cluster.yml version: '3.8' services: redis-master: image: redis command: redis-server --requirepass your_passw ......
记录 systemd、systemctl 始终无法启动我的net core程序的问题
不通过systemd或ctl,直接到站点的目录,运行 ./SGT.DiggApis.Svc 是可以正常运行的。 说明netcore.runtime是正常安装了的。 查看 ctl status,又只会给出失败了但是具体原因就是不给: 现在关键是ctl启动的时候的错误原因找不到,实际上是有方法的: 以上 ......
Redis 3 种特殊数据类型详解、Redis内存碎片
Cache Aside Pattern(旁路缓存模式) Cache Aside Pattern 是我们平时使用比较多的一个缓存读写模式,比较适合读请求比较多的场景。 Cache Aside Pattern 中服务端需要同时维系 db 和 cache,并且是以 db 的结果为准。 下面我们来看一下这个 ......
Redis-server闪退问题
对于无缘无故出现闪退的情况,就是因为我们的redis处于长时间运行的原因: 打开redis-cli.exe 窗口 执行shutdown命令然后输入exit 退出我们redis: 退出成功之后重新打开redis就好了(redis-server.exe) ......
【HMS Core】锁屏时收不到消息通知
【问题描述】 锁屏时候收不到消息通知是怎么回事?想要实现锁屏时候收到通知,并展示消息内容。 【解决方案】 一、首先需要确认消息类型为服务与通讯类,这样才能实现允许了通知亮屏提示权限后亮屏加通知。 因为华为推送默认是咨询营销类消息,是静默展示的。 没有锁屏通知展示,想要实现锁屏通知需要先申请自分类权 ......
PHP里redis的大坑:加号被转为空格
最近在PHP中使用js把图像的base64存入redis,取出来的时候发现无法正常显示图像。 试了无数次,javascript看来看去也没有问题,最终发现是redis的问题:加号全部被自动转为空格了。 (尚未仔细检查是否为PHP里的 $redis = new Redis(); 这个的问题,还是说这个 ......
分享一个 asp.net core 多文件分块同时上传的组件
分享一个可多个文件同时上传、断点续传,并实时反馈上传进度的 Asp.Net core 组件。 服务器端 引用 nuget 包:JMS.FileUploader.AspNetCore 然后启用上传组件: app.UseAuthorization(); app.MapControllers(); //启 ......
Redis 也支持全文搜索 了?这也太强了
在 2021 年我就了解到 RediSearch 这个项目,并已经把它用于我的开源项目 newbee-mall-pro 中。 就我的使用体验来说,简单场景下,用来平替 Elasticsearch 的使用场景已经足够。像是 Elasticsearch 中常用中文分词插件可以用 RediSearch 替 ......
ASP.NET Core Program 类
Program类是ASP.NET Core 应用程序的一个入口点,它位于应用程序的根目录下,它定义了.NET Core应用程序所需的服务和中间件组件。 Program类默认代码如下: var builder = WebApplication.CreateBuilder(args); v ......
Net Core 伪静态配置
创建伪静态类 using Microsoft.AspNetCore.Mvc.ApplicationModels; using System.Text; namespace Micro.Web { public class HtmlExtensionPageRouteModelConvention : ......
ASP.NET Core 8 在 Windows 上各种部署模型的性能测试
ASP.NET Core 8 在 Windows 上各种部署模型的性能测试 我们知道 Asp.net Core 在 windows 服务器上部署的方案有 4 种之多。这些部署方案对性能的影响一直以来都是靠经验。比如如果是部署在 IIS 下,那么 In Process 会比 Out Process 快 ......
分布式配置中心
为什么要有分布式配置中心: 1、项目背景 现在有一个项目,使用SSM进行开发的,配置文件的话我们知道是一个叫做application.properties的文件。 #业务参数相关配置 user.register.default.name=小强 user.register.default.sex=男 ......
分布式缓存
分布式系统中常用的缓存方案有哪些? 客户端缓存:页面和浏览器缓存,APP缓存,H5缓存,localStorage和sessionStorage CDN缓存: 内存存储:数据的缓存 内容分发:负载均衡 nginx缓存:本地缓存,外部缓存 数据库缓存:持久层缓存(mybatis,hibernate多级缓 ......
分布式事务
什么是分布式事务? 对于分布式系统而言,需要保证分布式系统中的数据一致性,保证数据在子系统中始终保持一致,避免业务出现问题。 简单的说,在分布式系统上,一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务节点上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。 举个 ......
分布式锁
为什么需要分布式锁? 在多线程环境中,如果多个线程同时访问共享资源(例如商品库存、外卖订单),会发生数据竞争,可能会导致出现脏数据或者系统问题,威胁到程序的正常运行。我们需要使用互斥操作对共享资源进行保护,即同一时刻只允许一个线程访问共享资源,其他线程需要等待当前线程释放后才能访问。这样可以避免数据 ......
Redis哨兵
是什么 吹哨人巡查监控后台master主机是否故障,如果故障了根据投票数自动将某一个从库转为新主库,继续对外服务 能干嘛 主从监控:监控主从Redis库运行是否正常 消息通知:哨兵可以将故障转移的结果发送给客户端 故障转移:如果Master异常,则会进行主从切换,将其中一个Slave作为新Maste ......
Redis的数据类型以及使用场景,看这一篇就够啦
Redis的数据类型以及使用场景,看这一篇就够啦 原创2021-06-20 18:02·猿视野 Redis 数据类型 string String hash HashMap list LinkedList set HashSet sorted_set TreeSet redis 数据存储格式 redi ......