一、集群原理及搭建
当我们做了读写分离，做了高可用，还存在问题
-
并发量：单机redis qps为10w/s,但是我们可能需要百万级别的并发量
-
数据量：机器内存16g--256g，如果存500g数据呢？
Redis集群是一个分布式的Redis数据库系统，它可以在多个节点上存储数据，并提供高可用性和可伸缩性。
Redis集群使用分片技术将数据分布在多个节点上，每个节点都负责存储其中的一部分数据。集群中的节点可以动态地加入或退出，从而实现高可用性和可伸缩性。
在Redis集群中，客户端可以连接到任何一个节点并进行读写操作，节点之间会自动同步数据。同时，Redis集群还提供了一些额外的功能，如槽位迁移和自动故障转移，以确保数据的可用性和一致性。
要使用Redis集群，需要先创建一个包含多个节点的集群，然后将数据分片并存储在各个节点上。然后，客户端可以连接到任何一个节点并进行读写操作，Redis集群会自动将请求路由到正确的节点上。
解决方案：使用集群
解决：加机器，分布式
redis cluster 在2015年的 3.0 版本加入了，满足分布式的需求
# 数据库的多机数据分布方案
# 存在问题
假设全量的数据非常大，500g，单机已经无法满足，我们需要进行分区，分到若干个子集中
# 主流分区方式(数据分片方式)
哈希分布
顺序分布
# 顺序分布
原理：100个数据分到3个节点上 1--33第一个节点；34--66第二个节点；67--100第三个节点（很多关系型数据库使用此种方式）
# 哈希分区
原理：hash分区： 节点取余 ，假设3台机器， hash(key)%3,落到不同节点上
# 节点取余分区：扩容缩容麻烦，移动数据 ----》翻倍扩容
# 总结：
客户端分片，通过hash+取余
节点伸缩，数据节点关系发生变化，导致影响数据迁移过大
迁移数量和添加节点数量有关：建议翻倍扩容
# 一致性哈希分区
每个节点负责一部分数据，对key进行hash，得到结果在node1和node2之间，就放到node2中，顺时针查找
#总结：
客户端分片：哈希+顺时针（优化取余）
节点伸缩：只影响临近节点，但是还有数据迁移的情况
伸缩：保证最小迁移数据和无法保证负载均衡（这样总共5个节点，数据就不均匀了），翻倍扩容可以实现负载均衡
# 虚拟槽（redis）
预设虚拟槽：每个槽映射一个数据子集，一般比节点数大
良好的哈希函数：如CRC16
服务端管理节点、槽、数据：如redis cluster（槽的范围0–16383）
# redis使用了虚拟槽
对key进行hash得到数字对16383取余----》就知道这个数据是归哪个槽管理的---》节点管理哪些槽是知道的---》数据存到哪个节点就知道了
1.1 集群搭建
# 名词解释
节点(某一台机器)，meet（节点跟节点之间通过meet通信），指派槽（16384个槽分给几个节点），复制（主从赋值），高可用（主节点挂掉，从节点顶上）
# 搭建步骤：准备6台机器 （6个redis-server进程）
# 第一步：准备6台机器，写6个配置文件
port 7000
daemonize yes
dir "/root/redis/data/"
logfile "7000.log"
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file nodes-7000.conf
cluster-require-full-coverage yes
#第二步：快速复制6个配置问题，并修改配置
快速生成其他配置
sed 's/7000/7001/g' redis-7000.conf > redis-7001.conf
sed 's/7000/7002/g' redis-7000.conf > redis-7002.conf
sed 's/7000/7003/g' redis-7000.conf > redis-7003.conf
sed 's/7000/7004/g' redis-7000.conf > redis-7004.conf
sed 's/7000/7005/g' redis-7000.conf > redis-7005.conf
#第三步：启动6个redis服务
./src/redis-server ./redis-7000.conf
./src/redis-server ./redis-7001.conf
./src/redis-server ./redis-7002.conf
./src/redis-server ./redis-7003.conf
./src/redis-server ./redis-7004.conf
./src/redis-server ./redis-7005.conf
ps -ef |grep redis
# 第四步：
./src/redis-cli --cluster create --cluster-replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
# 第五步：
redis-cli -p 7000 cluster info
redis-cli -p 7000 cluster nodes
redis-cli -p 7000 cluster slots # 查看槽的信息
# 第六步：测试，存数据
./src/redis-cli -p 7000 -c
1.2 集群扩容
#1 准备两台机器
sed 's/7000/7006/g' redis-7000.conf > redis-7006.conf
sed 's/7000/7007/g' redis-7000.conf > redis-7007.conf
#2 启动两台机器
./src/redis-server ./redis-7006.conf
./src/redis-server ./redis-7007.conf
# 3 两台机器加入到集群中去
./src/redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000
./src/redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000
# 4 让7007复制7006
./src/redis-cli -p 7007 cluster replicate baf261f2e6cb2b0359d25420b3ddc3d1b8d3bb5a
# 5 迁移槽
./src/redis-cli --cluster reshard 127.0.0.1:7000
-迁移4096个槽
-7006的机器接收槽
-all
1.3 集群缩容
# 第一步：下线迁槽（把7006的1366个槽迁移到7000上）
redis-cli --cluster reshard --cluster-from baf261f2e6cb2b0359d25420b3ddc3d1b8d3bb5a --cluster-to 050bfd3608514d4db5d2ce5411ef5989bbe50867 --cluster-slots 1365 127.0.0.1:7000
yes
redis-cli --cluster reshard --cluster-from baf261f2e6cb2b0359d25420b3ddc3d1b8d3bb5a --cluster-to 9cb2a9b8c2e7b63347a9787896803c0954e65b40 --cluster-slots 1366 127.0.0.1:7001
yes
redis-cli --cluster reshard --cluster-from baf261f2e6cb2b0359d25420b3ddc3d1b8d3bb5a --cluster-to d3aea3d0b4cf90f58252cf3bcd89530943f52d36 --cluster-slots 1366 127.0.0.1:7002
yes
#第二步：下线节点 忘记节点，关闭节点
./src/redis-cli --cluster del-node 127.0.0.1:7000 9c2abbfaa4d1fb94b74df04ce2b481512e6edbf3 # 先下从，再下主，因为先下主会触发故障转移
./src/redis-cli --cluster del-node 127.0.0.1:7000 baf261f2e6cb2b0359d25420b3ddc3d1b8d3bb5a
# 第三步：关掉其中一个主，另一个从立马变成主顶上， 重启停止的主，发现变成了从