分布式redlock redis core
分布式存储ceph——（2）部署ceph
前言： 很多朋友想学ceph，但是开始ceph部署就让初学者举步为艰，ceph部署时由于国外源的问题（具体大家应该懂得），下载和安装软件便会卡住，停止不前。即使配置搭建了国内源后，执行ceph-deploy install 时又跑去了国外的源下载，很是无语呀！！！这样导致我们停下了学习ceph的脚步 ......
分布式存储ceph——（1）ceph 讲解
一、Ceph简介： Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储，分布式体现在可以动态扩展。在国内一些公司的云环境中，通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。 Ceph项目 ......
redis容器docker-compose启动正常，但配置文件无法生效
问题描述 docker-compose.yml文件中进行了redis.conf配置文件的映射，并且进去容器也能找到该映射文件，但修改这个配置文件里的内容却始终无法生效！！！ 远程连接上redis服务器，使用CONFIG get 命令读取配置，却一直显示没有配置文件：redis (error) ERR ......
asp.net core项目集成OpenTelemetry输出到OpenObserve进行可观测性处理
一、安装OpenObserve和Otel-collector 使用docker-compose 安装 记得替换下USER_MAIL xxx@xx.com和PASSWORD xxx 这里解释下为啥要用named volume来映射openobserve的data目录，因为目前版本(0.7.2)在win ......
ServiceStack.Redis系列破解
ServiceStack.Redis免费版有个每小时6000次访问限制，网上目前的破解方式都是dnspy修改源码或者Github上下载源码修改，这样的方式不是不好，主要是不方便NUGET版本管理和更新。 反编译看了下注册逻辑，发现很简单就是LicenseKey类： public class Lice ......
Redis 数据一致性
概述 当我们在使用缓存时，如果发生数据变更，那么你需要同时操作缓存和数据库，而它们两个又分属不同的系统，因此无法做到同时操作成功或失败，因此在并发读写下很可能出现缓存与数据库数据不一致的情况 理论上可以通过分布式事务保证同时操作成功或失败，但这会影响系统性能，一般很少使用。虽然没办法做到缓存和数据库 ......
【Redis】SQL 和NoSQL区别
SQL（关系型数据库） NoSQL(非关系型数据库) 是否结构化 结构化 非结构化 是否关联 是 否 查询 SQL查询（语法固定） SELECT id，name,age FROM tb_user WHERE id =1 非SQL查询（语法不固定） Redis: get user:1 MongoDB: ......
云计算技术与应用 之 实验 10--分布式云计算部署
实验 10--分布式云计算部署 一、实验目的 掌握分布式云计算部署。 二、实验原理和内容 1.了解云解决方案； 2.了解 iaas、paas； 3.提交实验报告。 三、实验步骤 1.进入 win10 操作系统。 2.完成，步骤和结果如下： 3.完成，步骤和结果如下： 4.结果1，步骤和结果如下： 5 ......
云计算技术与应用 之 实验六-分布式文件系统算法—MapReduce
实验六-分布式文件系统算法—MapReduce 一、实验目的 掌握 MapReduce 算法的设计与实现。 二、实验原理和内容 1.原理： MapReduce 的核心思想是“分而治之”，也就是把一个大的数据集拆分成多 个小数据集在多台机器上并行处理。 一个大的 MapReduce 作业，首先会被拆分 ......
云计算技术与应用 之 实验 5-分布式文件系统并行编程— Producer-Consumer 模式
实验 5-分布式文件系统并行编程—Producer-Consumer 模式 一、实验目的 掌握并行编程 Producer-Consumer 模式的设计与实现。 二、实验原理和内容 原理： 系统有两类进程协作：Master 进程和 Worker 进程。Master 负责接收和分 配任务，Worker ......
云计算技术与应用 之 实验 4-分布式文件系统并行编程— Master-Worker 模式
实验 4-分布式文件系统并行编程—Master-Worker 模式 一、实验目的 掌握并行编程 Master-Worker 模式的设计与实现。 二、实验原理和内容 原理： 系统有两类进程协作：Master 进程和 Worker 进程。Master 负责接收和分 配任务，Worker 负责处理子任务。 ......
【Redis】不知彼阶段Redis认知
最近看Java,看高并发。发现在使用的时候，基本上逃不开一个知识——Redis。 最开始的时候，我对Redis不以为然，觉得只需要稍微学习，即可。但粗看一些学习的PPT,发现它的水很深，我只是在海边没过脚踝的地方走了走。现在，我来总结一下我的认知。 已知 数据库分为关系型数据库（SQL）、非关系型数 ......
Redis过期回调机制
开启配置 第一种方式： // 注意K针对的是key，E针对的是Event CONFIG set notify-keyspace-events Kx （但非持久化，redis重启后会失效） 第二种方式(配置文件redis.conf)： notify-keyspace-events “Kx” 验证测试 ......
Redis锁
RLock lock = redissonClient.getLock(CacheConstants.ES_FLIGHT_DATA_SAVE_LOCK);boolean isLocked = lock.tryLock();log.info("定时保存航线数据到fis_strategy_route获取 ......
Ef Core花里胡哨系列(8) 如何可控管理Ef Core的迁移？
Ef Core花里胡哨系列(8) 如何可控管理Ef Core的迁移？ 通常使用Ef Core迁移时，可能就是简单的使用命令dotnet-ef migrations add或者dotnet ef database update等等，基本都需要靠命令维护，非常的繁琐。特别是现在很多项目都是迭代型项目，很 ......
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？
Ef Core花里胡哨系列(7) 使用Ef Core也能维护表架构？ 我们这里指的并不是查询，而是利用Ef的迁移原理，生成可用的其它表架构操作的Sql。 例如你想在Ef Core里建表，并且可能程序里有多个provider，那么写Sql将是一件痛苦的事情，我们就是利用Ef Core迁移时的操作，来为 ......
redis淘汰策略
lru是Least Recently Used的缩写,也就是「最近很少使用」 LFU:Least Frequently Used的缩写,也就是「最近使用频次最少」 # volatile-lru -> Evict using approximated LRU among the keys with a ......
Redis进阶：清空数据后恢复数据
使用 flushall 命令可以清空当前数据库存储的所有记录 由于我开启了RDB和AOF的混合存储模式，所以当前命令肯定是记录到了appendonly.aof里面。 找到redis的安装目录，使用txt文档打开aof文件可以看到最后的记录命令是 flushall 将当前命令删除，并保存修改 然后关闭 ......
Redis 性能优化实战
Redis 作为内存数据库，其性能表现非常出色，单机 OPS 很容易达到 10万以上，这主要得益于其高效的内存数据结构、单线程无锁设计、IO 多路复用等技术实现。但是在线上生产环境的使用中，我们仍然会发现在使用 Redis 的时候其性能和预期是不符的，例如出现了明显的延迟等，如果我们能从 Redis ......
postgresql LAMP redis
postgresql架构与原理 PostgreSQL采用C/S模型，是进程架构模型。 体系结构分两部分： 实例 instance 进程 内存存储结构 磁盘存储 PGSQL流复制 主节点配置 创建从节点复制账号 postgres-# create role repluser with replicat ......
Docker+SEATA+Nacos+SpringBoot实现分布式事务
Docker+SEATA+Nacos+SpringBoot实现分布式事务 1. 服务端 示例SEATA版本：1.6.1 1.1. 配置的创建 docker pull seataio/seata-server:1.6.1 # 这里的运行只是为了获取里面的配置，将配置拿出来到宿主机后进行配置再删除容器再 ......
ASP.NET Core 鉴权授权三（添加自定义授权策略）
Program.cs #region 授权 builder.Services.AddAuthorization(option => { //添加自定义授权策略 option.AddPolicy("MyPolicy",p => p.RequireClaim(ClaimTypes.NameIdentif ......
Config：Spring Cloud分布式配置组件
Config：Spring Cloud分布式配置组件 问题总结 Spring Cloud Config? Spring Cloud Config工作原理？ Spring Cloud Config 的特点？ Config+Bus 实现配置的动态刷新？ 问题答案 Spring Cloud Config ......
linux redis 常用命令
// 客户端连接 redis-cli -h 172.16.1.1 -p 6001 //2 连接远程redis //格式：redis-cli --raw -h IP -p 端口 -a 密码 -n 库索引 redis-cli --raw -h 172.16.1.108 -p 6001 -a passwo ......
[go 面试] 为并发加锁：保障数据一致性（分布式锁）
原创 TimLiu 爱发白日梦的后端 2023-12-01 08:01 发表于广东 爱发白日梦的后端 专注 Go 语言领域的发展，学习成为更牛逼的架构师，日常分享 Go 语言、架构、软件工具的使用。 159篇原创内容 公众号 在单机程序中，当多个线程或协程同时修改全局变量时，为了保障数据一致性，我们 ......
履机乘变，轻舟便楫：源启分布式PaaS深度赋能企业级技术平台建设
导语 源启分布式PaaS平台围绕应用视角为用户提供应用运行的全生命周期管控能力，提供注册中心、服务路由、网关、服务治理等中间件技术支持，实现应用之间的联通，解决客户多厂商产品不兼容、产品组合不可选择、孤岛效应等问题，满足企业级应用集成需要，实现降本增效。 在《洞若观火，明察秋毫：源启一体化监控平台构 ......
数据库攻防学习之Redis
在渗透测试面试或者网络安全面试中可能会常问redis未授权等一些知识，那么什么是redis？redis就是个数据库，常见端口为6379，常见漏洞为未授权访问。 ......