分布式zookeeper redis
Redis是单线程的，但是为什么还那么快
Redis是单线程的，但是为什么还那么快 Redis是纯内存操作，执行速度非常快 采用单线程，避免不必要的上下文切换可竞争条件，多线程还要考虑线程安全问题 使用I/O多路复用模型，非阻塞IO 能解释下I/O多路复用模型？ Redis是纯内存操作，执行速度非常快，它的性能瓶颈是网络延迟而不是执行速度， ......
中间件 ZK分布式专题与Dubbo微服务入门 4-2 session的基本原理与create命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12697 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
Redis集群详解
Redis集群详解 1. 如何保证 Redis 服务高可用？ Redis Sentinel 集群 2. Sentinel（哨兵）有什么用？ 监控 Redis 节点的运行状态并自动实现故障转移 3. Redis 缓存的数据量太大怎么办？ Redis Cluster 4. Redis Cluster 虚 ......
docker安装配置redis
安装redis docker pull redis 配置数据路径 mkdir -p /home/redis/data docker启动 docker run -d -v /home/redis/data:/data --name redis -p 6379:6379 redis redis-se ......
openEuler欧拉部署Redis
一、系统优化 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 关闭selinux sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config setenf ......
Redis过期Key处理和内存淘汰策略
惰性删除 概述：当访问Key时，才去判断它是否过期，如果过期，直接干掉。这种方式对CPU很友好，但是一个key如果长期不用，一直存在内存里，会造成内存浪费。 set name xxxx 10 get name // 发现name过期了，直接删除 优点：对CPU友好，只会在使用该key时才会进行过期检 ......
redis中如何保证原子性操作
需求：两个客户端同时对[key1]执行自增操作，不会相互影响 操作：下面两个客户端并发操作会导致[key1]输出结果与预期不一致 [客户端一]读取[key1]，值为[1] [客户端二]读取[key1]，值为[1] [客户端一]将[key1]自增1，值为[2] [客户端二]将[key1]自增1，值为[ ......
分布式事务管理
南航航班号sno，日期sdate，国航航班号zno，日期zdate，姓名uname，身份证号uid，用户账号uno，电商账号bno 根代理ROOT begin transcation; input(sno, sdate, zno, zdate, uname, uid, uno, bno)； EXEC ......
redis 浅谈2
最近在redis上遇到一个问题，就是刷新redis缓存的时候，缓存里面开始一个map ,但是缓存还没有刷新完成 ，比如 map里面有n 个filed ，但是刷新了 m 个就被别的线程使用了，导致数据不完善 解决办法： map 设置完成后在写入缓存中 ......
redis 问题浅谈
redis 缓存击穿 redis 如果缓存不存在就会请求到数据库，这里有个问题就是如果请求一个数据库不存在的数据，那么就会一直请求数据库，redis没有起到作用 1 接口过滤，做第一步过滤 2 我们可以把这个不存在的数据也缓存一个null到redis中，设置一个过期时间 3 布隆过滤器，待续 雪崩 ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码：wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意：上传文件位置为 /export/server目录 1.2 解 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-7 watcher常用使用场景
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12703 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
中间件 ZK分布式专题与Dubbo微服务入门 4-4 理解watcher机制
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12700 1 重点关注 1.1 理解watcher机制 针对每个节点的操作，都会有一个监督者 wathcer 当监控的某个对象 ( znode) 发生了变化，则触发watcher事件 zk中的w ......
Redis缓存三剑客
缓存穿透 概念：查询一个不存在的数据，mysql查询不到数据也不会直接写入缓存，就会导致每次请求查数据库从而使得数据库压力过大，宕机 解决方案一： 缓存空数据，查询返回的数据为空，扔把这个空结果进行缓存例如格式：{key:xxx,value:null} 优点：简单 缺点：消耗内存，可能会发生不一致的 ......
NOSQL redis配置与优化
NOSQL与NOSQL 关系型数据库 关系型数据库是一个结构化的数据库，创建在关系模型（二维表格模型）基础上，一般面向于记录。 SQL 语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。 主流的关系型数据库包括 Oracle、MySQL、SQL Ser ......
Redis常见阻塞原因总结
Redis常见阻塞原因总结 1. O(n) 命令 Redis 中的大部分命令都是 O(1)时间复杂度，但也有少部分 O(n) 时间复杂度的命令，例如： KEYS *：会返回所有符合规则的 key HGETALL：会返回一个 Hash 中所有的键值对 LRANGE：会返回 List 中指定范围内的元素 ......
分布式架构设计思路和要点
分布式架构设计 设计分布式架构时，需要考虑以下几个关键思路和要点： 弹性和可伸缩性：分布式架构应具备弹性和可伸缩性，能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性：分布式系统应具备容错和高可用性能力，即使部分组件或节点发生故障，整个系统仍能正常运行。 ......
redis小记
redis 1、redis是一款c语言编写的基于内存的kv存储，是目前市面上最流行的nosql开源项目，常用于缓存场景（优点高性能/寻址更快，缺点易失存储/价格更高） 2、redis快的原因：纯内存操作、单线程避免上下文切换、采用非阻塞IO多路复用机制（1个线程监控多个连接，一旦某个连接就绪，就能够 ......
Redis内存碎片
Redis内存碎片（不会影响 Redis 性能，但会增加内存消耗） 1. 什么是内存碎片？ 你可以将内存碎片简单地理解为那些不可用的空闲内存 举个例子：操作系统为你分配了 32 字节的连续内存空间，而你存储数据实际只需要使用 24 字节内存空间，那这多余出来的 8 字节内存空间如果后续没办法再被分配 ......
redis
redis 安装教程 Centos7安装Redis - heqiuyong - 博客园 (cnblogs.com) 基本操作 通用指令是部分数据类型的，都可以使用的指令，常见的有如下表格所示 指令 描述 KEYS 查看符合模板的所有key，不建议在生产环境设备上使用 DEL 删除一个指定的key E ......
Redis实战篇
实战篇Redis 开篇导读 hutol工具使用 对象bean 和JsonStr 互转 //功能： java bean 转jsonstr 用途：存入到redis String jsonstr=JSONUtil.toJsonStr(shopType) //功能： jsonstr 转java bean 用 ......
分布式锁
分布式锁 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 为什么需要分布式锁? 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只有 3 个。如果不对共享 ......
Redis持久化机制详解
Redis持久化机制详解 1. RDB 持久化 Redis 可以通过创建快照来获得存储在内存里面的数据在 某个时间点 上的副本。Redis 创建快照之后，可以对快照进行备份，可以将快照复制到其他服务器从而创建具有相同数据的服务器副本（Redis 主从结构，主要用来提高 Redis 性能），还可以将快 ......
Redis 打怪升级进阶成神之路（2023 最新版）！
前面我们学习：MySQL 打怪升级进阶成神之路（2023 最新版）！，然后我们就开始了 NoSQL 卷王之路。从第一篇文章开始，我们逐步详细介绍了 Redis 基础理论与安装配置、9 种数据类型和应用场景、常用管理命令、发布与订阅、事件、事务机制、持久化、主从复制与数据恢复实践、哨兵模式原理与数据恢 ......
CloudCanal x Redis 数据同步指令集丰富与细节优化
简述 CloudCanal 前一段时间支持了 Redis 到 Redis 数据迁移同步能力，并支持其双向同步，但是支持的指令种类有限。 随着用户使用，指令支持不全面成为一个比较大的问题，所以最近的版本，我们对此能力，结合用户实际碰到的问题，进行了新一轮优化。 此轮优化的特点是： 增加数据初始化的类型 ......
Redis 7.0性能大揭秘：如何优化缓存命中率？
Redis 7.0，这货不仅仅是一个简单的缓存工具，它更是一款高性能的数据结构服务器。现在，大家都知道缓存命中率对性能影响特别大，但怎么优化它呢？ 本文，已收录于，我的技术网站 ddkk.com，有大厂完整面经，工作技术，架构师成长之路，等经验分享 1、合理设计键值结构 Redis的数据结构和键的设 ......
太强了！全新一代分布式任务调度与计算框架！
PowerJob（原 OhMyScheduler） —— 全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。 ......
分布式存储ceph——（6）ceph osd故障硬盘更换
故障状态： 实施更换步骤： （1）关闭ceph集群数据迁移： osd硬盘故障，状态变为down。在经过mod osd down out interval 设定的时间间隔后，ceph将其标记为out，并开始进行数据迁移恢复。为了降低ceph进行数据恢复或scrub等操作对性能的影响，可以先将其暂时关闭 ......
Redis 分片集群
1.Redis分片集群 1.1.搭建分片集群 主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决： 海量数据存储问题 高并发写的问题 使用分片集群可以解决上述问题，如图: 分片集群特征： 集群中有多个master，每个master保存不同数据。 每个master都可以有多个slav ......
分布式存储ceph——（5）ceph 添加/删除osd
一、添加osd： 当前ceph集群中有如下osd，现在准备新添加osd： （1）选择一个osd节点，添加好新的硬盘： （2）显示osd节点中的硬盘，并重置新的osd硬盘： 列出节点磁盘：ceph-deploy disk list rab1 擦净节点磁盘：ceph-deploy disk zap ra ......