分布式存储系统需要解决的问题

发布时间 2023-10-15 22:06:06作者: xiezhengcai

0.数据集群的两种架构
数据集中集群 (多主从)
数据分散集群

  1. 数据同步
    主节点环形空间 + 从节点position 去判断是该增量还是全量。

  2. 同步方式
    以数据快照的方式同步 -- 通常是全量
    以命令的方式(执行语句的方式同步) -- 增量

  3. 数据快照生成过程中的写入问题
    以mvcc方式,可重复读的方式实现
    读时复制技术copy-on-write

  4. 主节点故障恢复
    投票选举,选举参考因素: 从节点断开时间,配置的优先级,数据同步的offset(offset越大,数据与master越接近)

  5. 集群监控,
    通常由所有的master节点互相通信完成,如果只有一个master,则需要单独的哨兵集群完成

6.数据切分
通过数据的插槽切分, 或许手动写数据分片逻辑

  1. 集群伸缩
    扩容: 分配插槽,同步数据
    缩容: 将插槽分配给其它节点,同步数据