分布式 架构redis
转 Windows下Redis安装及自启动
Redis下载 Redis 官方网站没有提供 Windows 版的安装包，可以通过 GitHub 来下载 Windows 版 Redis 安装包，下载地址：点击前往。 打开上述的下载地址链接，Redis 支持 32 位和 64 位的 Window 系统，根据个人情况自行下载，如图 1 所示： 下载完 ......
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......
redis锁定商品解决并发售卖问题 RedisUtil工具类
redis锁定商品解决并发售卖问题 RedisUtil工具类 redis数据类型介绍： //伪代码,基本思路 //1.出redis，每次在选定商品之后，先检查redis是否已经锁定该商品，避免超卖。Set<String> cacheList = redisUtilService.getSetValu ......
redis分布锁
1.什么是redis分布式锁 Redis分布式锁是一种利用Redis实现的锁机制，用于在分布式系统中保护共享资源的访问。它利用Redis的原子性操作和过期时间设置来实现互斥访问。 在分布式环境中，多个进程或线程可能同时访问共享资源，如果没有合适的机制来保护共享资源，就会导致数据不一致或竞争条件的发生 ......
Redis缓存
Redis（Remote Dictionary Server）是一个开源的高性能键值对（key-value）存储系统，常被用作数据库、缓存和消息代理。它支持多种数据结构，如字符串、哈希表、列表、集合和有序集合。 为什么要用Redis？ 使用Redis有多个原因，包括： 高性能：Redis是基于内存存 ......
网易面试：亿级用户，如何做微服务底层架构？
文章很长，且持续更新，建议收藏起来，慢慢读！疯狂创客圈总目录 博客园版 为您奉上珍贵的学习资源 ： 免费赠送 :《尼恩Java面试宝典》 持续更新+ 史上最全 + 面试必备 2000页+ 面试必备 + 大厂必备 +涨薪必备 免费赠送 :《尼恩技术圣经+高并发系列PDF》 ，帮你 实现技术自由，完成职 ......
transformer总体架构
transformer总体架构 目录transformer总体架构循环神经网络总体架构EncoderDecoder输入输出层模型输入位置编码模型输出自注意力机制关于QKV的理解Q, K, V 及注意力计算多头注意力机制多头注意力机制作用Feed Forward 层参考资料 论文地址：Attentio ......
在arm架构的银河麒麟系统部署Nginx
以下是在arm架构的银河麒麟系统上部署Nginx的详细步骤： 1. 创建文件夹 首先，在合适的位置创建必要的文件夹。在本例中，我们将创建/opt/nginx和/usr/src/nginx两个文件夹。 mkdir /opt/nginx mkdir /usr/src/nginx 2. 准备Nginx及其 ......
Redis异常问题分析黄金一分钟
Redis异常问题分析黄金一分钟 背景 同事发现一个环境redis比较卡顿,导致业务比较难以开展. 问题是下午出现的. 六点左右找到我这边. 想着帮忙看看, 问题其实没有定位完全, 仅是发现了一个可能的点. 所以想记录一下, 备查 步骤 登录redis进行查看 处理的过程: 1. info memo ......
MongoDB、Elasticsearch、Redis、HBase应用场景分析
1. MongoDB 一个基于分布式文件存储的数据库系统，由C++编写，旨在为Web应用提供高速、可扩展、高性能的数据存储解决方案。MongoDB采用了文档型数据库模型，即数据以文档的形式存储，而文档是由键值对组成的。MongoDB的名称来自Hadoop创始人Doug Cutting的宠物狗Mong ......
Seata：打造行业首个分布式事务产品
在 2019 年，我们基于 Dubbo Ecosystem Meetup，收集了 2000 多份关于“在微服务架构，哪些核心问题是开发者最关注的痛点？”的调研问卷。最终分布式事务问题在调研中占比最大，约占 54%。 ......
将Abp默认事件总线改造为分布式事件总线
@目录原理创建分布式事件总线实现自动订阅和事件转发使用启动Redis服务配置传递Abp默认事件传递自定义事件项目地址 原理 本地事件总线是通过Ioc容器来实现的。 IEventBus接口定义了事件总线的基本功能，如注册事件、取消注册事件、触发事件等。 Abp.Events.Bus.EventBus是 ......
Redis全文搜索教程之创建索引并关联源数据
Redis 全文搜索是依赖于 Redis 官方提供的 RediSearch 来实现的。RediSearch 提供了一种简单快速的方法对 hash 或者 json 类型数据的任何字段建立二级索引，然后就可以对被索引的 hash 或者 json 类型数据字段进行搜索和聚合操作。 这里我们把被索引的 ha ......
seata分布式事务不生效
Fegin调用使用了Fallback降级或抛出的异常被全局处理 解决： 1.通过 GlobalTransactionContext.reload(RootContext.getXID()).rollback() 进行手动回滚 服务A @Service public class ServiceAImp ......
spring-cloud 微服务架构所用到的技术 简介
https://www.bilibili.com/video/BV18E411x7eT https://blog.csdn.net/u011863024/article/details/114298270 https://blog.csdn.net/u011863024/article/detail ......
DeepSpeed分布式训练
一、DeepSpeed 总纲 官方文档：DeepSpeed 官方英文文档 cpoy下来的原版 DeepSpeed 模型的训练是使用DeeSpeed引擎完成的 DeepSpeed引擎可以包装任何 torch.nn.module 类型的模型 二、训练 1、通过 deepspeed.initialize ......
分布式资源管理和调度
分布式资源管理和调度 分布式资源管理和调度是指在分布式系统中有效地管理和调度系统中的资源，以满足各种任务的需求。在一个分布式系统中，资源可以包括计算资源（如CPU、内存）、存储资源（如磁盘空间）、网络带宽等。 分布式资源管理的目标是实现高效的资源利用和公平的资源分配。它需要考虑以下几个方面： 资源发 ......
【转载】Redis 6.x 学习笔记
参考 http://www.redis.cn/ https://www.runoob.com/redis/redis-data-types.html https://developer.aliyun.com/article/1095427 https://zhuanlan.zhihu.com/p/4 ......
解决方案架构师 vs 技术架构师，有何区别？
Salesforce架构师角色是生态系统中常见的职业目标。架构师因其丰富的Salesforce知识以及在平台上构建可扩展解决方案的能力而广受认可。 解决方案架构师和技术架构师是Salesforce生态系统中最常见的两个架构师角色，这些角色有一些重叠，但它们完全不同，解决方案架构师和技术架构师到底有什 ......
Redis和Mysql如何保证数据一致性？
1、redis作用： 用于读数据库操作的缓存层，可以减少数据库的io，还能提升数据的io性能； 无法保证数据的acid 2、实现一致性方案： 1、先更新数据库，在更新缓存 2、先删除缓存再更新数据库 3、最终一致性方案： （1）基于roketMQ可靠通信 （2）通过canal组件采集mysql bi ......
李强 分布式计算、云计算与大数据 作者:林伟伟 著出版社:机械工业出版社出版时间:2015年11月
前 言背景分布式计算从20世纪六七十年代发展到现在，一直是计算机科学技术的理论与应用的热点问题，特别是*近几年，随着互联网、移动互联网、社交网络应用的发展，急需分布式计算的新技术——云计算、大数据，以满足和实现新时代计算机的应用需求。云计算、大数据等新技术本质上是分布式计算的发展和延伸，现有的书籍一 ......
分布式限流
Spring - 高并发系统限流-漏桶算法和令牌桶算法_spring 限流_当走的路甚远的博客-CSDN博客6种 分布式限流方案，我替你整理好了_Micrle_007的博客-CSDN博客 ......
读程序员的README笔记16_构建可演进的架构（上）
1. 行为准则 2. 需求的不确定性 2.1. 不断变化的客户需求 2.2. 软件项目无法避免的挑战 2.3. 产品需求和环境会随着时间的推移而改变，你的应用程序也必须随之改变 2.4. 不断变化的需求会导致不稳定性，使开发工作偏离轨道 2.5. 通过构建可演进的架构来适应不断变化的需求 2.5.1 ......
SpringBoot集成Redis
一、单体模式 1、引入依赖 <!-- 引入 redis 依赖 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </ ......
Redis 主从集群搭建并使用 RedisTemplate 实现读写分离
单机版的 Redis 能够承载并发访问的能力有限，对于绝大多数的系统而言，都是读多写少，系统之所以宕机，一般都是因为并发读操作太高导致的宕机，因此搭建 Redis 主从集群，实现读写分离，是一种有效的提高并发访问能力的方案。 本篇博客介绍在一台虚拟机上，使用 docker-compose 模拟搭建一 ......
工具类-利用redis生成订单流水号，拿走不谢！
1 import cn.hutool.core.util.RandomUtil; 2 import cn.hutool.core.util.StrUtil; 3 import lombok.extern.slf4j.Slf4j; 4 import org.springframework.beans. ......
【转载】Springboot2.x 使用 Redisson 分布式可重入锁
参考 https://blog.csdn.net/weixin_43749805/article/details/131399516 https://github.com/redisson/redisson （官方仓库） https://github.com/redisson/redisson/tr ......
6.Redis，一站式高性能存储方案
1.Redis入门 Redis是一款基于键值对的NoSQL数据库，它的值支持多种数据结构： 字符串(strings)、哈希(hashes)、列表(lists)、集合(sets)、有序集合(sorted sets)等。 Redis将所有的数据都存放在内存中，所以它的读写性能十分惊人。 同时，Redis ......