ceph
rook方式部署ceph
一. 名词解释 OSD：直接连接每一个集群节点的物理磁盘或者是目录。集群的副本数、高可用性和容错性。 MON：集群监控，所有集群的节点都会向Mon汇报，记录了集群的拓扑以及数据存储位置的信息。 MDS：元数据服务器，负责跟踪文件层次结构并存储ceph元数据。 RGW：restful API接口。 M ......
603-60API资源对象StorageClass、Ceph存储 6.3-6.5
一、NFS存储 使用master-1-230 节点做NFS服务器，具体安装步骤参考：https://www.cnblogs.com/pythonlx/p/17766242.html （4.1 在master节点搭建NFS） node节点查看NFS挂载目录 # # showmount -e 192.1 ......
K8S使用开源CEPH作为后端StorageClass
1 引言 K8S在1.13版本开始支持使用Ceph作为StorageClass。其中云原生存储Rook和开源Ceph应用都非常广泛。本文主要介绍K8S如何对接开源Ceph使用RBD卷。 K8S对接Ceph的技术栈如下图所示。K8S主要通过容器存储接口CSI和Ceph进行交互。 https://doc ......
Ceph
Ceph 1、存储基础 1.单机存储 //单机存储设备 ●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储） IDE、SATA、SCSI、SAS、USB 接口的磁盘 所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储 ●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存 ......
Ceph原理与功能总结
Ceph学习小结： 扩展性：Ceph支持2~1024个节点。 数据效率方面：支持EC、支持压缩数据、支持精简配置，但不支持重删。 可靠性方面：支持数据分级、支持快照（仅COW），支持异步远程复制，但不支持双活。 系统可靠性方面：支持数据校验、运动故障域划分、部分支持亚健康检测。 网络方面：支持IPv ......
Ceph部署
Ceph1、存储基础//单机存储设备●DAS（直接附加存储，是直接接到计算机的主板总线上去的存储）IDE、SATA、SCSI、SAS、USB 接口的磁盘所谓接口就是一种存储设备驱动下的磁盘设备，提供块级别的存储●NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）NFS、CIFS、FT ......
ceph Nautilus-14.2.22版本部署
温馨提示: centos 7支持的最高版本时ceph 15.2.17 octopus，如果想要使用更高版本请绕道。 必须选择Ubuntu 20.04 LTS 或者Centos 8+ 但是，经实际测试，ceph 15.2.17 octopus的MGR组件改用python3改写，这倒是在部署"ceph- ......
Ceph部署
目录1. 环境准备1.1 关闭 selinux 与防火墙1.2 根据规划设置主机名1.3 配置 hosts 解析1.4 安装依赖包1.5 在 admin 管理节点配置 ssh 免密登录所有节点1.6 配置时间同步1.7 配置 Ceph yum源1.8 执行完上面所有的操作之后重启所有主机（可选）1. ......
在 CentOS7/CentOS8 上使用 cephadm 安装分布式存储系统 Ceph【转】
Cephadm 介绍 官方文档：https://docs.ceph.com/en/latest/cephadm/ cephadm 用于部署和管理 Ceph 集群，它通过 SSH 将 manager 守护进程连接到主机来实现这一点。manager 守护进程支持添加、删除和更新 Ceph 容器。ceph ......
ceph（八）实现kubernetes数据持久化
一、基于ceph块存储的数据持久化 让k8s中的pod可以访问ceph中rbd提供的镜像作为存储设备，需要在ceph创建rbd，并且让k8s node节点能够通过ceph的认证。 k8s在使用ceph作为动态存储卷的时候，需要kube-controller-manager组件能够访问ceph，因此需 ......
ceph（七）crush map及实现prometheus监控ceph状态
一、编辑ceph crush运行图实现基于HDD和SSD磁盘实现数据冷热数据分类存储 1.1 运行图介绍 ceph集群由mon服务器维护的五种运行图 monitor map/监视运行图 OSD map/OSD运行图 PG map/PG运行图 Crush map/Controllers replica ......
ceph（六）对象存储网关（RadosGW）总结及s3cmd使用
一、radosgw的基本使用总结 https://docs.ceph.com/en/latest/radosgw/ 1.1 RadosGW对象存储网关简介 RadosGW是对象存储（OSS,Object Storage Service）的一种访问实现方式，RADOS网关也称为Ceph对象网关、Rad ......
ceph（五）CephFS部署、使用和MDS高可用实现
1. 部署cephfs服务 ceph FS即ceph filesystem，可以实现文件系统共享功能（POSIX标准），客户端通过ceph协议挂载并使用ceph集群作为数据存储服务器，https://docs.ceph.com/en/latest/cephfs/。 cephFS需要运行Meta Da ......
ceph（四）ceph集群管理、pg常见状态总结
1. ceph常见管理命令总结 1.1 只显示存储池 ceph osd pool ls 示例 $ ceph osd pool ls device_health_metrics mypool myrbd1 rbd-data1 1.2 列出存储池并显示id ceph osd lspools 示例 $ c ......
ceph（三）实现ceph块存储的挂载及存储空间的动态伸缩
1. 客户端使用普通账户挂载并使用RBD RBD（RADOS Block Devices）即块存储设备，RBD可以为KVM、VMware等虚拟化技术和云服务（OpenStack、kubernetes）提供高性能和无限可扩展的存储后端，客户端基于librbd库即可将RADOS存储集群用作块设备，不过， ......
ceph（一）基于ceph-deploy部署ceph集群
1.梳理ceph的组件关系 1.1 ceph介绍 Ceph是一个开源的分布式存储系统，同时支持对象存储、块设备、文件系统。 ceph支持EB(1EB=1,000,000,00OGB)级别的数据存储, ceph把每一个待管理的数据流(文件等数据)切分为一到多个固定大小(默认4兆)的对象数据，并以其为原 ......
Ceph集群安装
创建一个新的Ceph集群 ceph-deploy new --cluster-network 192.168.103.0/24 --public-network 192.168.200.0/24 ceph-01.ucs.local 初始化node节点 初始化mon节点 集群状态 ......
【ceph运维】删除mds
删除mds 1. 集群状态： [root@ceph02 ~]# ceph -s cluster: id: 9de7d2fb-245a-4b9c-8c1f-b452110fb61f health: HEALTH_OK services: mon: 1 daemons, quorum ceph01 mg ......
Ceph CURSH map和规则详解
集群安装 1、准备软件源，选择一个安装版本（所有节点安装）备注：Ceph-CSI需要N版及以上版本，版本请参照阿里云开源镜像站https://mirrors.aliyun.com/ceph/ ``` cat >/etc/yum.repos.d/ceph.repo>/etc/hosts [--yes- ......
卸载Ceph集群中的OSD
# 卸载Ceph集群中的OSD ```sh 要卸载Ceph集群中的OSD（对象存储守护程序），您可以按照以下步骤执行。 请注意，在卸载OSD之前，请确保您已经安全备份了Ceph集群中的数据，因为卸载OSD将导致数据重新平衡和迁移。 ``` ## 1.**停用OSD** 在卸载OSD之前，您需要将它们 ......
云原生环境搭建第三篇：Ceph存储
云原生环境搭建第三篇：Ceph存储 原创 杨同港 者行花 2023-07-18 11:43 发表于山东 收录于合集#云原生5个 GlusterFS在k8s1.25中被移除，所以开源的，社区活跃度高的分布式存储最优选就是ceph，本文使用rook-ceph部署ceph集群。 ceph是一个开源的存储平 ......
【ceph运维】解决mon is allowing insecure global_id reclaim问题
解决mon is allowing insecure global_id reclaim问题 1.查询ceph状态： $ ceph -s cluster: id: 37ac4cbb-a2c6-4f81-af1e-e9e39c010c85 health: HEALTH_WARN mon is allo ......
如何计算硬盘、RAID组与Ceph的IOPS
机械硬盘 7200硬盘IOPS = 1000/(3 + 1000*(7200/60)/2) = 14010k硬盘IOPS = 1000/(3 + 60000/10000/2) = 16715k硬盘IOPS = 1000/(3 + 60000/15000/2) = 200 其中3为寻道延迟，7200/ ......
shell之ceph分布式存储OSD使用率监控实战脚本
ceph分布式存储集群中osd使用满了后，集群将无法提供存储服务，无法继续写入数据，只读。所以需要对osd使用率进行监控以便及时扩容或者迁移数据 ......
ceph集群状态 pgs not scrubbed in time
检查集群状态 ``` # ceph -s cluster: id: 83738b81-56e4-4d34-bdc2-3a60d789d224 health: HEALTH_WARN 75 pgs not scrubbed in time services: mon: 3 daemons, quoru ......
pve搭建ceph集群
文章参考 https://zhuanlan.zhihu.com/p/617024637 http://www.taodudu.cc/news/show-4270751.html?action=onClick pve 版本 8.0.2 > 配置建议：机器最好是8C16G以上的配置 > > 硬盘最好有三 ......
Ceph(nautilus)安装记录
# 环境介绍 ## 版本介绍 **操作系统** ```bash CentOS Linux release 7.9.2009 (Core) ``` Ceph版本 ```bash rpm-nautilus ``` ## 主机信息 ![image-20230824114743348](https://im ......
ceph-18.2.0版本编译安装
从ceph出了最新版本后，网上没有查到相关的编译安装文档，本人自己测试了一下，暂时以一台服务器作为样本来部署，具体环境如下 1. 操作系统 ：ubuntu-server版本22.04 2. 磁盘：外挂2个20GB的裸盘 3. ceph版本18.2.0，下载路径如下 https://download. ......
Ceph存储日志收集、过滤和分析
一、方案简述 存储服务组件众多，且容器化多服务实例部署后，日志分散，需要聚合分析，使用 filebeat 来收集节点系统日志、Ceph守护进程实例日志和容器日志，推送至 ELK 集群集中过滤、转换和分析，提高故障排查效率。 二、方案架构图 三、测试环境部署 1、部署单节点ES 容器化部署脚本： # ......
ceph_object-gw
# 1.部署RGW ```bash # 部署rgw，名称为rgw01 ceph orch apply rgw rgw01 # 查看rgw ceph orch ls ceph orch ps --daemon_type=rgw ``` + 如果需要删除则执行 ```bash ceph orch rm ......