526互联

redis cluster集群搭建

发布时间 2023-06-29 19:27:35作者: WThhhhh20

redis 6.2

使用docker搭建redis cluster集群(3主3从)

所有的操作都在根目录~/Developer/docker-compose/redis-cluster-6.2执行

创建配置文件

为了方便，写了个shell脚本，懒人必备

createConfig.sh

for port in $(seq 6381 6386); 
do
    conf_dir=./${port}/conf
    conf_file=${conf_dir}/redis.conf
    log_dir=/${port}/logs
    if [ ! -d ${conf_dir} ]; then
        mkdir -p ${conf_dir}
    fi
    if [ ! -d ${log_dir} ]; then
        mkdir -p ${log_dir}
    fi
    if [ -f ${conf_file} ]; then
        rm -f ${conf_file}
    fi
    touch ${conf_file}
    cat  << EOF > ${conf_file}
    bind 0.0.0.0
    port ${port}
    requirepass 123456
    masterauth 123456
    dir /data
    logfile /logs/nodes-${port}.log
    appendonly yes
    cluster-enabled yes 
    cluster-config-file nodes-${port}.conf
    cluster-node-timeout 5000
    cluster-announce-ip 192.168.2.102
    cluster-announce-port ${port}
    cluster-announce-bus-port 1${port}
EOF
done

然后执行sh createConfig.sh即可。最终生成的文件如图所示

配置说明

# 允许其他机器访问redis服务
bind 0.0.0.0
# 连接端口
port 6381
# 密码
requirepass 123456
# 从节点需要配置主节点的密码, 不然主从同步时从节点无法从主节点同步到数据
masterauth 123456
# 数据根目录, 如rdb快照、aof文件、cluster-config-file指定的文件都在该目录下
dir /data
# 日志文件, 默认输出到控制台
logfile /logs/nodes-6381.log
# 开启aof持久化
appendonly yes
# 开启cluster集群模式
cluster-enabled yes
# 集群配置信息文件名, 记录了每个节点的地址、角色(master/slave)、slot等信息, 由redis自己生成, 位于数据目录下
cluster-config-file nodes-6381.conf
# 集群节点连接超时时间，每个节点都会检查其它节点是否挂了
cluster-node-timeout 5000
# docker所在的宿主机ip
cluster-announce-ip 192.168.2.102
# docker所在的宿主机映射端口
cluster-announce-port 6381
# docker所在的宿主机总线映射端口
cluster-announce-bus-port 16381

注:

  • daemonize不能设置为yes，否则容器将启动不了。

  • masterauth, 如果master节点设置了密码，slave节点配置文件必须指定该属性的值为master配置的密码，不然无法主从同步。

  • cluster-announce-ip作用，如果不设置这几个字段，cluster-config-file指定的集群配置信息文件将会记录的是容器的ip，如果各个节点不在同一台宿主机中，那么各集群节点将无法通信。(同一宿主机的容器是可以通过容器ip通信的)。

  • 各节点是通过另外一个名为总线端口(bus-port)来通信，该端口为port+10000，因此为16381，宿主机映射端口时将宿主机的16381端口与容器的16381端口进行映射，所以cluster-announce-bus-port得值设置16381。这样各集群节点就可以通过宿主机ip+映射端口进行通信了。

  • cluster-config-file内容示例

    拿第一行来说明

    ce30a10f22dfea5374588a5a34217d4053dea863：节点唯一标识。

    192.168.2.102:6381@16381：节点ip、port、bus-port，也就是cluster-announce-ip、cluster-announce-port、cluster-announce-bus-port配置的值。

    master: 该节点为master。

    0-5460: 该节点分配的hash slot，总共16384个。

    第二行的节点是slave节点，4d8bdde1b80182d3da1c8ac751ce495470a82d14代表master节点标识，然后没有hash slot信息。

    ce30a10f22dfea5374588a5a34217d4053dea863 192.168.2.102:6381@16381 master - 0 1687967066000 1 connected 0-5460
c71b8b1d7ed8048a1c0794fa9eff89f02c527c30 192.168.2.102:6386@16386 slave 4d8bdde1b80182d3da1c8ac751ce495470a82d14 0 1687967067151 2 connected
47b577cbb59fae528f10d7928755b41528097d1b 192.168.2.102:6385@16385 slave ce30a10f22dfea5374588a5a34217d4053dea863 0 1687967066147 1 connected
5d17c4f2a3e2715b868e32b05d7c997fadaa2233 192.168.2.102:6384@16384 slave b6fa28612b4fb1f18cb9a3aec86d0363a4f01713 0 1687967065340 3 connected
4d8bdde1b80182d3da1c8ac751ce495470a82d14 192.168.2.102:6382@16382 myself,master - 0 1687967065000 2 connected 5461-10922
b6fa28612b4fb1f18cb9a3aec86d0363a4f01713 192.168.2.102:6383@16383 master - 0 1687967067000 3 connected 10923-16383
vars currentEpoch 6 lastVoteEpoch 0

编写docker-compose.yml文件

编写docker-compose文件来一键启动6个redis节点

services:
  redis-6381:
    image: redis:6.2
    container_name: redis-6381
    ports:
      - 6381:6381
      - 16381:16381
    volumes:
      - ./6381/conf/redis.conf:/etc/redis.conf
      - ./6381/data:/data
      - ./6381/logs:/logs
    command: ["redis-server", "/etc/redis.conf"]
    environment:
      - TZ=Asia/Shanghai
    networks:
      redis-cluster:
        aliases:
          - redis-6381
          
  redis-6382:
    image: redis:6.2
    container_name: redis-6382
    ports:
      - 6382:6382
      - 16382:16382
    volumes:
      - ./6382/conf/redis.conf:/etc/redis.conf
      - ./6382/data:/data
      - ./6382/logs:/logs
    command: ["redis-server", "/etc/redis.conf"]
    environment:
      - TZ=Asia/Shanghai
    networks:
      redis-cluster:
        aliases:
          - redis-6382
          
  redis-6383:
    image: redis:6.2
    container_name: redis-6383
    ports:
      - 6383:6383
      - 16383:16383
    volumes:
      - ./6383/conf/redis.conf:/etc/redis.conf
      - ./6383/data:/data
      - ./6383/logs:/logs
    command: ["redis-server", "/etc/redis.conf"]
    environment:
      - TZ=Asia/Shanghai
    networks:
      redis-cluster:
        aliases:
          - redis-6383
          
  redis-6384:
    image: redis:6.2
    container_name: redis-6384
    ports:
      - 6384:6384
      - 16384:16384
    volumes:
      - ./6384/conf/redis.conf:/etc/redis.conf
      - ./6384/data:/data
      - ./6384/logs:/logs
    command: ["redis-server", "/etc/redis.conf"]
    environment:
      - TZ=Asia/Shanghai
    networks:
      redis-cluster:
        aliases:
          - redis-6384
          
  redis-6385:
    image: redis:6.2
    container_name: redis-6385
    ports:
      - 6385:6385
      - 16385:16385
    volumes:
      - ./6385/conf/redis.conf:/etc/redis.conf
      - ./6385/data:/data
      - ./6385/logs:/logs
    command: ["redis-server", "/etc/redis.conf"]
    environment:
      - TZ=Asia/Shanghai
    networks:
      redis-cluster:
        aliases:
          - redis-6385
          
  redis-6386:
    image: redis:6.2
    container_name: redis-6386
    ports:
      - 6386:6386
      - 16386:16386
    volumes:
      - ./6386/conf/redis.conf:/etc/redis.conf
      - ./6386/data:/data
      - ./6386/logs:/logs
    command: ["redis-server", "/etc/redis.conf"]
    environment:
      - TZ=Asia/Shanghai
    networks:
      redis-cluster:
        aliases:
          - redis-6386

networks:
  redis-cluster:
    name: redis-cluster
    driver: bridge

启动节点

# 启动
docker compose run -d
# 查看容器
docker compose ps

将各节点加入到集群中

上面还只是启动了6个redis节点，没有加入到共同的集群中。

随意进入一个容器中

docker compose exec -it redis-6381 /bin/bash

使用下面命令创建集群

redis-cli -a 123456 --cluster create 192.168.2.102:6381 192.168.2.102:6382 192.168.2.102:6383 192.168.2.102:6384 192.168.2.102:6385 192.168.2.102:6386 --cluster-replicas 1

其中--cluster-replicas 1表示每个master只有1个slave节点。

原本想使用以下命令来执行的，毕竟编写docker-compose文件时特意让6个节点加入到同一个网络中，这样便可以使用名称来访问了，但是redis-cli对于域名或者主机名支持不友好，会报错，于是只好用宿主机ip来代替了。

redis-cli -a 123456 --cluster create redis-6381:6381 redis-6382:6382 redis-6383:6383 redis-6384:6384 redis-6385:6385 redis-6386:6386 --cluster-replicas 1

查看集群信息

连接任意个节点redis-cli -p 6381，执行以下命令可查看集群信息

cluster info

结果

# 集群状态
cluster_state:ok
# 总的hash slot数量
cluster_slots_assigned:16384
# 正常的hash slot数量
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
# 总共节点数
cluster_known_nodes:6
# 分片大小，因为只有3个master，所以为3
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:1237
cluster_stats_messages_pong_sent:1285
cluster_stats_messages_sent:2522
cluster_stats_messages_ping_received:1280
cluster_stats_messages_pong_received:1237
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:2522

查看节点信息

cluster nodes

结果和cluster-config-file指定的文件内容一样

3369a4635ddca9c23247927b80f52b53cf6e98df 192.168.2.102:6386@16386 slave febb65499a03fb25184a6a1fc90b46e295ff4d97 0 1688036065000 3 connected
4f20c39196e0655ef3ce4ef51ed20489cba3e5f0 192.168.2.102:6381@16381 myself,master - 0 1688036066000 1 connected 0-5460
febb65499a03fb25184a6a1fc90b46e295ff4d97 192.168.2.102:6383@16383 master - 0 1688036066485 3 connected 10923-16383
e13bc519b106c9a50df89091a28fc4663af4c579 192.168.2.102:6382@16382 master - 0 1688036066588 2 connected 5461-10922
128564cd3bab4205b6db0a67871d003f87c744a3 192.168.2.102:6384@16384 slave 4f20c39196e0655ef3ce4ef51ed20489cba3e5f0 0 1688036065487 1 connected
8d838e07718f8181d73993f0d0509632ce6f95cb 192.168.2.102:6385@16385 slave e13bc519b106c9a50df89091a28fc4663af4c579 0 1688036065000 2 connected
vars currentEpoch 6 lastVoteEpoch 0

查看hash slot分布情况

cluster slots

结果

代表0-5460属于192.168.2.102:6381节点，192.168.2.102:6384是192.168.2.102:6381从节点

5461-10922属于192.168.2.102:6382节点，192.168.2.102:6385是192.168.2.102:6382从节点

10923-16383属于192.168.2.102:6383节点，192.168.2.102:6386是192.168.2.102:6383从节点

1) 1) (integer) 0
   2) (integer) 5460
   3) 1) "192.168.2.102"
      2) (integer) 6381
      3) "4f20c39196e0655ef3ce4ef51ed20489cba3e5f0"
   4) 1) "192.168.2.102"
      2) (integer) 6384
      3) "128564cd3bab4205b6db0a67871d003f87c744a3"
2) 1) (integer) 5461
   2) (integer) 10922
   3) 1) "192.168.2.102"
      2) (integer) 6382
      3) "e13bc519b106c9a50df89091a28fc4663af4c579"
   4) 1) "192.168.2.102"
      2) (integer) 6385
      3) "8d838e07718f8181d73993f0d0509632ce6f95cb"
3) 1) (integer) 10923
   2) (integer) 16383
   3) 1) "192.168.2.102"
      2) (integer) 6383
      3) "febb65499a03fb25184a6a1fc90b46e295ff4d97"
   4) 1) "192.168.2.102"
      2) (integer) 6386
      3) "3369a4635ddca9c23247927b80f52b53cf6e98df"

验证

验证主从是否同步

接下来，往redis中添加数据

还是任意连接一个master节点，因为slave节点不允许新增数据。

进入容器内部

docker compose exec -it redis-6381 /bin/bash

连接redis

redis-cli -p 6381
auth 123456

新增数据

set username wastonl

结果

(error) MOVED 14315 192.168.2.102:6383

表明redis经过hash计算，username这个key需要存放到192.168.2.102:6383节点中，因此连接到192.168.2.102:6383节点再进行该操作。

redis-cli -p 6383
auth 123456
set username wastonl

结果就ok了。

然后再去192.168.2.102:6383节点的从节点去查询数据，看看数据数据是否被正确同步到从节点中，可以通过cluster nodes查看从节点192.168.2.102:6386。

get username

结果

(error) MOVED 14315 192.168.2.102:6383

Redis Cluster集群中的从节点，官方默认设置的是不分担读请求的、只作备份和故障转移用,当有请求读向从节点时，会被重定向到对应的主节点来处理。

需要使用readonly命令才能读取数据，断开连接后，该命令会失效，需要重新使用readonly才能读取数据。

readonly
get username

结果

"wastonl"

验证是否故障转移

如果master挂了，slave节点会被选举成新的master来工作，掌管原来master分配的hash slot。

停掉6381节点(master)

docker compose stop redis-6381

连接6382节点查询集群信息

cluster info

结果

cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:7
cluster_my_epoch:2
cluster_stats_messages_ping_sent:1776
cluster_stats_messages_pong_sent:1832
cluster_stats_messages_meet_sent:1
cluster_stats_messages_fail_sent:4
cluster_stats_messages_auth-ack_sent:1
cluster_stats_messages_sent:3614
cluster_stats_messages_ping_received:1832
cluster_stats_messages_pong_received:1777
cluster_stats_messages_fail_received:1
cluster_stats_messages_auth-req_received:1
cluster_stats_messages_received:3611

可以看到集群状态还是正常的

cluster nodes

结果

28564cd3bab4205b6db0a67871d003f87c744a3 192.168.2.102:6384@16384 master - 0 1688037075078 7 connected 0-5460
8d838e07718f8181d73993f0d0509632ce6f95cb 192.168.2.102:6385@16385 slave e13bc519b106c9a50df89091a28fc4663af4c579 0 1688037073640 2 connected
3369a4635ddca9c23247927b80f52b53cf6e98df 192.168.2.102:6386@16386 slave febb65499a03fb25184a6a1fc90b46e295ff4d97 0 1688037073000 3 connected
e13bc519b106c9a50df89091a28fc4663af4c579 192.168.2.102:6382@16382 myself,master - 0 1688037073000 2 connected 5461-10922
febb65499a03fb25184a6a1fc90b46e295ff4d97 192.168.2.102:6383@16383 master - 0 1688037074666 3 connected 10923-16383
4f20c39196e0655ef3ce4ef51ed20489cba3e5f0 192.168.2.102:6381@16381 master,fail - 1688036983438 1688036982426 1 disconnected

可以看到6381节点的状态是fail，而6381节点的从节点6384变成了新的主节点，并且hash slot还是0-5460。

如果重新启动6381节点，会看到6381节点变成了6384节点的从节点了。