缓存 优缺点 分布式
Ruoyi最小化部署方案 将redis 缓存替换为GuavaCache
一、说明 将redis替换为本地缓存方案，有些特殊的场景需要： 1 比如微小型项目部署在配置比较低的云服务器上，不需要装其他的中间件，并不需要多大的并发量。 2 将jar包打成exe的项目类似于客户端，运行在用户电脑上 二、GuavaCache介绍 Guava是Google提供的一套Java工具包， ......
分布式--Base理论
一、定义 BASE 是 Basically Available（基本可用）、Soft-state（软状态） 和 Eventually Consistent（最终一致性） 二、简介 BASE理论本质上是对CAP的延伸和补充，是对CAP中的AP方案的一个补充，即在选择AP方案的情况下，如何更好地最终达到 ......
GBLUP方法的缺点
GBLUP（Genomic Best Linear Unbiased Prediction）是一种在基因组选择中广泛使用的方法，但它也有一些潜在的缺点和限制，包括： 计算复杂性：GBLUP的计算复杂性相对较高，特别是在大规模基因组数据集上。需要处理大量的SNP标记数据，这可能需要大量的计算资源和时间 ......
云原生 | 从零开始，Minio 高性能分布式对象存储快速入手指南
对象存储（Object Storage）是一种存储数据的计算机体系结构，它以对象的形式存储和管理数据。与传统的文件系统和块存储不同，对象存储将数据作为对象存储在分布式的存储集群中，每个对象都有一个唯一的标识符（通常是一个URL），并且可以通过这个标识符来访问和检索数据。 ......
分布式设计模式和方法论
一、设计模式 1. 可用性 可用性是系统运行和工作的时间比例，通常以正常运行时间的百分比来衡量，它可能受系统错误，基础架构问题，恶意攻击和系统负载的影响。 健康检查：系统实现全链路功能检查，外部工具定期通过公开端点访问系统 负载均衡：使用队列起到削峰作用，作为请求和服务之间的缓冲区，以平滑间歇性的重 ......
Mybatis之缓存
缓存 简介 引入： 查询数据：需要连接数据库--好资源解决：把第一次查询的结果放到一个地方，再次查询时直接在这个地方访问就可以（内存--缓存），不需要在访问数据库 什么是缓存？ 存在内存中的临时数据将用户经常查询的数据放在缓存（内存）中，用户去查询数据就不用从磁盘上（关系型数据库查询文件）查询，从缓 ......
Hadoop2伪分布式安装
最近有观看我主讲的《Hadoop基础与演练》课程的同学问到Hadoop环境到底应该怎么安装。Hadoop的安装其实非常的简单，网上有很多教程，官网也有示例。但是可能部分同学对于linux不太熟悉，导致安装的时候会遇到各种问题，打击学习激情。本文就来详细的讲解一下如何配置Hadoop2的伪分布式环境， ......
如何在 Scrapy 中基于响应内容条件缓存特定响应
当使用 Scrapy 进行网络爬取时，HTTP 缓存中间件是一个十分有用的工具，它可以帮助我们保存和重用先前爬取的响应。但有时，我们可能希望基于响应的实际内容来决定是否进行缓存。例如，如果响应中包含某个特定关键字，我们可能不希望缓存它。本文将教你如何基于响应内容来定制 Scrapy 的 HTTP 缓 ......
分布式场景
一、分布式文件系统 常用的分布式文件系统：HDFS（Hadoop Distributed File System） HDFS是Apache Hadoop生态系统中的分布式文件系统，用于存储和管理大规模数据集。它是为了支持大数据处理和分析而设计的，具有高容错性、高可靠性和高可扩展性的特点。它采用了主从 ......
Redis学习之Redisson实现分布式锁
Redisson实现分布式锁 Redisson 是 Java 的 Redis 高级客户端，提供了各种现成的分布式工具类便于我们使用 Redis。 官网：https://github.com/redisson/redisson 中文文档：https://github.com/redisson/redi ......
Spring Cloud 中的分布式组件五花八门，我到底该怎么学？
分布式架构的演进 在软件行业，一个应用服务随着功能越来越复杂，用户量越来越大，尤其是互联网行业流量爆发式的增长，导致我们需要不断的重构应用的结构来支撑庞大的用户量，最终从一个简单的系统主键演变成了一个非常复杂的可以支撑高并发的高可用的分布式架构，但是一个系统再复杂也是不断演变来的，所以从另一方面来说 ......
第四节：Redis数据持久化机制(备份恢复)、缓存淘汰策略、主从同步原理、常见规范与优化详解【转】
一. 数据持久化 1. 含义 Redis 提供了 RDB 和 AOF 两种持久化方式，默认开启的是RDB，如果需要AOF，需要手动修改配置文件进行开启。 RDB：是一种对Redis存在内存中的数据周期性的持久化机制，将内存中的数据以快照的形式硬盘，实质上是fork了一个子进程在执行数据存储，采用的是 ......
主从、集群、分布式的区别
主从、集群和分布式是计算机系统中常见的架构模式，它们有不同的特点和用途： 主从（Master-Slave）： 主从架构是一种单点控制的架构，其中有一个主节点和一个或多个从节点。 主节点通常负责处理所有的请求和决策，而从节点用于执行主节点分派的任务或保存数据的备份副本。 主从架构通常用于提高系统的可用 ......
分布式缓存
分布式缓存可以使用Redis或者Redisson实现，具体选择哪个取决于你的具体需求和场景。 如果你的场景比较简单，只需要一个高效的缓存系统，那么使用Redis就足够了。Redis是一个非常流行的内存数据库，具有高性能、高可用性、丰富的数据结构和灵活的配置等优点。在分布式缓存方面，Redis通过集群 ......
生成有相关性的满足标准正态分布的2组随机数
##from scipy.stats import normimport matplotlib.pyplot as pltimport pandas as pdimport numpy as npp=0.7e1=np.random.normal(loc=0,scale=1,size=100)e2=n ......
Redis缓存问题
看完包你搞懂Redis缓存穿透、击穿和雪崩！！！说到做到 缓存穿透 缓存穿透是指当用户对Redis发出无效或者不存在的数据信息操作时，这条数据在Redis中不存在，Redis就会在MySQL数据库中查询，可时无效的信息在mysql数据库中也不存在，就会造成Redis一直查询MySQL，对MySQL造 ......
.NET微服务系列之Saga分布式事务案例实践
自从Wing正式发布以后，很多童鞋反馈对Saga分布式事务比较感兴趣，今天就跟大家分享一下“跨行转账”的分布式事务实践案例，入门使用教程请自行前往Wing官方文档。 假设自己名下有“中国农业银行（ABC）”和“中国工商银行（ICBC）”的账户余额各1万元，现在从“ABC”跨行转账1000元到“ICB ......
看完包你搞懂Redis缓存穿透、击穿和雪崩！！！说到做到
缓存穿透 缓存穿透是指当用户对Redis发出无效或者不存在的数据信息操作时，这条数据在Redis中不存在，Redis就会在MySQL数据库中查询，可时无效的信息在mysql数据库中也不存在，就会造成Redis一直查询MySQL，对MySQL造成极大压力 解决方式 方式一：返回缓存空值 这种方式有点像 ......
.NET6 startup.cs 注入 本地缓存,AddTransient ,AddScoped ,AddSingleton生命周期
.NET6 startup.cs 注入 本地缓存 //使用缓存 using Microsoft.Extensions.Caching.Memory; services.AddMemoryCache(); //自定义缓存类，类继承接口 services.AddScoped<IMemoryCacheHe ......
分布式事务处理方案大 PK！
首先先说一个大原则：分布式事务能不用就不要用，毕竟这个用起来还是有一些麻烦的。当然，不用和不会用可是两码事。 1. 分布式事务基础理论 学习分布式事务，有一些基础理论需要我们先来了解下。 1.1 本地事务 本地事务是指将多条语句作为一个整体进行操作的功能，通过数据库事务可以确保该事务范围内的所有操作 ......
Asp.Net Core webapi+net6 使用资源筛选器(过滤器) 做缓存
写一个特性类，用来做标记 [AttributeUsage(AttributeTargets.Method)] //只对方法有效 public class ResourceFilterAttribute : Attribute { } 我这里使用了MemoryCache来做缓存，也可以使用字典来做，但 ......
pytorch(8-3) 文本语言处理 拆分成字符统计词频并从高到底分配ID 画图可视化1-3元词频分布规律
https://zh.d2l.ai/chapter_recurrent-neural-networks/language-models-and-dataset.html import collections import re from d2l import torch as d2l #@save ......
Redis学习之分布式锁
分布式锁：满足分布式系统或集群模式下多进程可见并且互斥的锁。 分布式锁的两个基本特征： 多线程（进程）可见（读写） 互斥 还应具备的特征： 高可用：不能挂机 高性能：读写要快 安全性：不能出现死锁 实现方式 主要有以下三种： 其中，MySQL 的实现成本相对最低、Redis 性能最高、Zookeep ......