【转】向分布式存储系统的迁移 - 使用 ZFS/Gluster-526互联

原文： http://www.taodudu.cc/news/show-4208262.html?action=onClick

https://my.oschina.net/u/2306127/blog/2865263

------------------------------------------

我这用的 Ubuntu 18.04 系统（已经内置支持 ZFS 和 Gluster 文件系统了），原来磁盘存储使用的 Ext4 格式和 LVM，现在需要迁移到 ZFS/Gluster 支持的分布式软件定义存储（SDS）和容器存储体系（CSI），以充分利用分布式架构的存储虚拟化、多机容错、水平扩容、网络访问的集群环境下应用的需要。

方案：

集群节点既能提供存储服务，也能执行高通量、非密集型计算任务。
集群存储主机至少有两个节点。
每节点四核 CPU，16G 内存，512G 高速 SSD。
每节点 PCIE 至少双槽，一块双口万兆网卡，一块 SATA 扩展卡或 SAS 阵列卡。
每节点至少 4 块磁盘（达到 400MB/s 以上，磁盘越多越快；8 块盘可达到 800MB/s 左右）。
节点的磁盘使用 ZFS 条带卷以获得最大磁盘 IO 速度，将 SSD 设为缓存和 log 卷执行加速。
多个节点存储通过 Gluster 做网络镜像存储，可以灵活地按照镜像（可靠性高）或者条带（容量大、性能高）来组织存储方案。节点越多，可靠性、性能越好。

步骤：

中间需要有多个步骤，记录如下：

先把新的存储系统准备好。
- 安装 ZFS，sudo apt install zfsutils-linux 。
- 安装 Gluster，sudo apt install glusterfs-server 。
- 在所有节点上，创建 ZFS 存储池和文件系统。
- 在所有节点上，互相添加为 gluster peer。
- 在任一节点上，创建 gluster volume 存储卷，可选镜像或条带模式。
- 在需要访问的工作节点挂载 gluster 存储卷，映射为本地卷，然后就可以直接访问了。
  - 在 Kubernetes 上，每一个 Node 都需要能访问网络存储卷，或者挂载为本地卷、通过 hostpah 来使用。
把 Ext4 和原来磁盘阵列的数据复制到新的存储系统。
- 确认数据已经全部复制。
把原来的存储系统重新格式化为 ZFS/Gluster。
- 再次确认数据已经全部复制。
把原始数据复制回原来的存储系统。
建立软连接，连接到原来的卷到新的存储系统主目录。
- ln -s 新的目录原来目录的链接名
  - 如：ln -s /zpool/data/home/supermap/data
- 恢复原来的服务。

注意：

⚠️不要出错，否则把原始数据搞丢了，就麻烦大了。
建议使用万兆（10Gbps）网络（存储节点使用万兆网卡，全万兆交换机连接）。
- 网络存储传输带宽，理论上：
  - 百兆连接 9MB/s。
  - 千兆连接 90MB/s。
  - 万兆连接 900MB/s。
  - 双万兆连接 1600MB/s 以上。
- 推荐：双万兆端口网卡，双路互备、链路聚合。
需要至少双倍于现有数据的存储空间。
- 新的分布式存储启用镜像和副本，需要 “数据容量 X 副本数量” 的物理磁盘容量。

参考：