Redis的高可用之持久化

发布时间 2024-01-08 18:15:12作者: 打开方式不对

Redis 高可用

在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999%等等)。

但是在Redis语境中,高可用的含义似乎要宽泛一些,除了保证提供正常服务(如主从分离、快速容灾技术),还需要考虑数据容量的扩展、数据安全不会丢失等。

在Redis中,实现高可用的技术主要包括持久化、主从复制、哨兵和 Cluster集群,下面分别说明它们的作用,以及解决了什么样的问题。
●持久化:持久化是最简单的高可用方法(有时甚至不被归为高可用的手段),主要作用是数据备份,即将数据存储在硬盘,保证数据不会因进程退出而丢失。
●主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。
●哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制。
●Cluster集群:通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。

持久化:

功能:redis是内存数据库,数据都是存储在内存中,为了避免服务器断电等原因导致redis进程异常退出后数据的永久丢失,需要定期将redis中的数据一某种形式(数据或命令)从内存保存到硬盘,当下次redis重启时,利用持久化文件实现数据恢复。除此之外,为了进行灾难备份,可以将持久化文件拷贝到一个远程位置。

Redis持久化的两种方式:

RDB持久化:定时把redis内存中的数据进行快照并压缩保存到磁盘上

手动触发(bgsave命令)

自动触发(满足save 指令配置的条件,主从复制时从节点首次同步,执行shutdown命令时)

#表示以下三个save条件满足任意一个时,都会引起bgsave的调用
save 3600 1 :当时间到3600秒时,如果redis数据发生了至少1次变化,则执行bgsave
save 300 10 :当时间到300秒时,如果redis数据发生了至少10次变化,则执行bgsave
save 60 10000 :当时间到60秒时,如果redis数据发生了至少10000次变化,则执行bgsave

文件名:dump.rdb

优缺点:RDB持久化保存的文件占用空间小,网络传输快,恢复速度也比AOF更快,性能影响比AOF更小; 实时性不如AOF,兼容性较差,持久化期间在fork子进程时会阻塞redis父进程。

 

AOF持久化:以追加的方式将redis写操作的命令记录到aof文件中

#Redis服务器默认开启RDB,关闭AOF;要开启AOF,

 

执行流程:命令追加(写命令追加到aof_buf缓冲区);文件写入和同步(同步策略:appendfsync everysec always no)

文件名:appendonly.aof

文件重写:bgrewriteaof命令(减少aof文件占用空间的大小和加快恢复速度)

优缺点:实时性比rdb更好,支持秒级持久化,兼容性较好; 持久化保存的文件占用磁盘空间更大,恢复速度更慢,性能影响更大,aof文件重写期间在fork子进程时会阻塞redis父进程。

 

Redis性能管理

内存碎片率

可以通过info memory命令查看Redis内存使用

 

内存碎片如何产生的?

Redis内部有自己的内存管理器,为了提高内存使用的效率,来对内存的申请和释放进行管理。
Redis中的值删除的时候,并没有把内存直接释放,交还给操作系统,而是交给了Redis内部有内存管理器。
Redis中申请内存的时候,也是先看自己的内存管理器中是否有足够的内存可用。
Redis的这种机制,提高了内存的使用率,但是会使Redis中有部分自己没在用,却不释放的内存,导致了内存碎片的发生。

跟踪内存碎片率对理解Redis实例的资源性能是非常重要的:
●内存碎片率在1到1.5之间是正常的,这个值表示内存碎片率比较低,也说明 Redis 没有发生内存交换。
●内存碎片率超过1.5,说明Redis消耗了实际需要物理内存的150%,其中50%是内存碎片率。
●内存碎片率低于1的,说明Redis内存分配超出了物理内存,操作系统正在进行内存交换。需要增加可用物理内存或减少 Redis内存占用。

内存使用率

redis实例的内存使用率超过可用最大内存,操作系统将开始进行内存与swap空间交换。

避免内存交换发生的方法:
●针对缓存数据大小选择安装 Redis 实例
●尽可能的使用Hash数据结构存储
●设置key的过期时间

 Redis优化:

1、设置  config set activedefrag yes 开启内存碎片自动清理或者定时执行memory purge 清理内存碎片

2、尽可能使用 hash 数据类型存储数据 因为hash 类型的一个key可以包含多个字段,该类型的数据占用空间较小

3、建议给key设置过期时间

4、精简key的键名和键值,控制key 占用空间的大小,避免bigkey 的产生

5、修改配置 maxmemory 指定redis可占用的最大内存大小
修改配置 maxmemory-policy  指定内存数据淘汰策略(key的回收策略),实现保证内存使用率不超过最大内存
修改配置 maxmemory-samples  指定内存数据淘汰策略的样本数量,一般为3~7,值越大样本越精确
修改配置maxclients  指定最大客户端连接数
修改配置 tcp-backlog  指定最大连接排队数
修改配置 timeout  指定连接超时时间
修改配置 lazyfree-lazy-expire yes  释放过期key的内存,放到后台线程执行,避免阻塞主线程
修改配置no-appendfsync-on-rewrite yes AOF文件重写期间,AOF后台子线程不进行刷盘操作,避免AOF重写和fsync竞争磁盘io资源,导致redis 延迟增加
6、设置AOF持久化和主从复制来备份数据,采用哨兵或集群模式实现redis集群高可用
7、建议设置config set requirepass 或 修改配置requirepass 来设置redis密码

Redis三大缓存问题:

 正常情况下大部分的服务请求应该是先被redis响应的,在redis那里得不到响应的小部分访问请求,才会去请求MySQL数据库获取数据,这样MySQL数据库的负载压力是非常小的,且可以正常工作。缓存雪崩/穿透/击穿三大问题的根本原因在于redis缓存命中率下降,大量请求会发送给MySQL数据库,导致MySQL数据库压力过大而崩溃。

 缓存雪崩:

redis中大量缓存key过期

解决方案:

- 使用随机数设置key的过期时间,防止集体过期
- 设置缓存标记,如果缓存过期则自动更新缓存
- 使用排他锁,实现加锁等待

缓存穿透:

大量请求访问redis和MySQL都不存在的资源

解决方案:

- 对空值也进行缓存
- 使用布隆过滤器进行判断拦截
- 使用脚本实时监控,进行黑名单限制

缓存击穿:

 

redis中一个热点key过期,此时又有大量用户访问这个热点key

解决方案:

- 预先对热点数据进行缓存预热
- 监控数据,实时调整过期时长
- 使用排他锁,实现加锁等待

如何保证mysql和redis的数据一致性

  • 读取数据时,先从redis读取数据,如果redis中没有,再从MySQL中读取,并将读取到的数据同步到redis缓存中。

  • 更新数据时,先更新MySQL数据库,再更新redis缓存

  • 删除数据时,先删除redis缓存,再删除MySQL数据库

  • 对于一些关键数据,可以使用MySQL的触发器来实现同步更新redis缓存。也可以使用定时任务定时自动进行缓存预热,来定期同步MySQL和redis的数据