juicefs ceph
ceph的常见命令
1、ceph设置回填速度 for i in {0..125} do ceph tell osd.$i injectargs "--osd_max_backfills 1"; done for i in {0..125} do ceph tell osd.$i injectargs "--osd_re ......
Ceph集群搭建篇
环境准备 ceph官方文档：https://docs.ceph.com/en/latest/ 本次搭建用到的测试机器，规划如下： | 主机名 | IP | 数据盘 | | | | | | ceph-node01 | 192.168.11.13 | 5块1TB容量硬盘 | | ceph-node02 ......
Ceph Pacific版本OSD内存自动调整说明
警告：默认情况下，cephadm 在引导程序上启用osd_memory_target_autotune，mgr/cephadm/autotune_memory_target_ratio 设置为主机总内存的 .7。 ~# ceph config get mgr mgr/cephadm/autotune ......
Ceph Pacific 版本磁盘预测模块
磁盘预测模块利用 Ceph 设备运行状况检查来收集磁盘运行状况指标，并使用内部预测器模块生成磁盘故障预测并返回到 Ceph。它不需要任何外部服务器进行数据分析和输出结果。其内部预测器的准确率约为70%。 1. 启用 运行以下命令以在 Ceph 环境中启用diskprediction_local模块： ......
Ceph Pacific 各版本镜像说明
16.2.11 容器镜像 root@ubuntu-20-04-lts:~# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEregistry 2 0d153fadf70b 2 months ago 24.2MBquay.io/ceph/ceph v1 ......
Proxmox VE Ceph 集群部署
1、集群安装 参考：https://www.cnblogs.com/a120608yby/p/17295938.html 2、业务及管理网络创建 参考：https://www.cnblogs.com/a120608yby/p/17140953.html 3、Ceph网络创建 # 配置ceph多网卡绑 ......
分布式存储技术（上）：HDFS 与 Ceph的架构原理、特性、优缺点解析
面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结构化数据存储的对象存储技术，本文将对他们的架构原理、特性和优缺点做介绍。 — 分布式文件系 ......
云上大数据存储：探究 JuiceFS 与 HDFS 的异同
HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。 如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 ......
实战篇：使用rook在k8s上搭建ceph集群
写在开篇 “ 上一次，我发了一篇：《理论篇：让我们一起鲁克鲁克——rook（开源存储编排）》。这次，来一篇实战，使用rook在k8s上把ceph集群搞起来。后续，还会陆续分享如何对接k8s（作为k8s的后端存储）、以及分享一些在生产上的实践经验。 ” 环境规划 | 主机名 | IP | 角色 | 数 ......
ceph分布式存储搭建
CEPH分布式存储搭建 本文通过参考臧 雪 园 老师的文档根据实际操作做修改，详细视频链接参考： https://edu.51cto.com/course/15982.html 集群配置信息： 安装的ceph版本： 配置所需源的地址 wget -O /etc/yum.repos.d/CentOS-B ......
Ceph使用---dashboard启用及Prometheus监控
一、Ceph dashboard介绍 Ceph dashboard 是通过一个 web 界面， 对已经运行的 ceph 集群进行状态查看及功能配置等功能， 早期 ceph 使用的是第三方的 dashboard 组件。 如：Calamari Calamari 对外提供了十分漂亮的 Web 管理和监控界 ......
ceph集群crush进阶使用
九 ceph集群crush进阶使用 9.1 ceph集群运行图 ceph集群中由mon服务器维护的五种运行图： 1. Monitor map #监视器运行图； 2. OSD map #OSD运行图； 3 . PG map #PG运行图； 4. Crush map (Controllers repli ......
部署高可用radowsgw存储网关，s3cmd实现bucket的管理，Nginx+RGW 的动静分离，基于 prometheus 监控 ceph 集群运行状态
一. 掌握对象存储的特点及使用场景#RadosGW 存储特点 通过对象存储网关将数据存储为对象，每个对象除了包含数据，还包含数据自身的元数据。对象通过 Object ID 来检索，无法通过普通文件系统的挂载方式通过文件路径加文件名称操作来直接访问对象，只能通过 API 来访问，或者第三方客户端（实际 ......
Ceph radosgw的基本使用
RadosGW 对象存储网关简介 RadosGW 是对象存储(OSS,Object Storage Service)的一种访问实现方式，RADOS 网关也称为 Ceph 对象网关、RadosGW、RGW，是一种服务，使客户端能够利用标准对象存储API 来访问 Ceph 集群，它支持 AWS S3 和 ......
ceph 用户权限管理和授权流程
ceph账户的授权 阅读目录 授权流程 访问流程 ceph 用户 ceph 授权和使能 ceph 用户管理 秘钥环管理 Ceph 使用 cephx 协议对客户端进行身份认证。 cephx 用于对 ceph 保存的数据进行认证访问和授权，用于对访问 ceph 的请求进行认证和授权检测，与 mon 通信 ......
Ceph MDS服务的多主一备高可用架构
阅读目录 ceph mds 高可用 回到顶部 ceph mds 高可用 Ceph mds(metadata service)作为 ceph 的访问入口，需要实现高性能及数据备份,而 MDS支持多 MDS 结构，甚至还能实现类似于 redis cluster 的多主从结构，以实现 MDS 服务的高性能 ......
ceph学习笔记
基于hello_world.cc的IO流程 // 创建rados对象 librados::Rados rados; // 初始化rados对象 ret = rados.init("admin"); // 读取配置文件，-c 或 --config后接配置文件 ret = rados.conf_pars ......
Ceph——使用普通用户挂载cephfs
创建客户端账户 创建账户 创建一个名为lxhfs的普通账户，允许获取ceph状态信息，允许对mds元数据有读写权限，语序对存储池cephfs-data cephfs的存储池有读写和执行权限。 cephadmin@ceph-deploy:~/ceph-cluster$ ceph auth add cl ......
ceph
一、ceph简介 Ceph 是一个开源的分布式存储系统，同时支持对象存储、块设备、文件系统。 ceph 支持 EB(1EB=1,000,000,000GB)级别的数据存储，ceph 把每一个待管理的数据流(文件等数据)切分为一到多个固定大小(默认 4 兆)的对象数据，并以其为原子单元(原子是构成元素 ......
通过命令管理ceph集群
通过命令管理ceph集群 阅读目录 ceph 集群维护 回到顶部 ceph 集群维护 http://docs.ceph.org.cn/rados/ ceph 集群配置、部署与运维 通过套接字进行单机管理 在ceph的节点上使用socket管理只针对ceph的节点单机管理并不会对所有节点生效 node ......
Sidecar-详解 JuiceFS CSI Driver 新模式
近期发布的 JuiceFS CSI Driver v0.18 版本中，我们提供了一种全新的方式访问文件系统，即 JuiceFS 客户端以 Sidecar 方式运行于应用 Pod 中，且客户端与应用同生命周期。 这个全新的功能将帮助用户在 Serverless Kubernetes 环境中使用 Jui ......
为K8S集群准备Ceph存储
随着K8S存储接口逐渐成熟并顺势推出CSI接口规范后，原来“in-tree”(树内)模式的很多存储插件也逐步迁移到了“out-of-tree”(树外)模式的CSI插件上，甚至有些原来支持的存储卷类型都被直接移除了(例如在K8S v1.26上直接移除了 glusterfs 卷类型)，查阅了一下K8S官 ......
Ceph RGW误删index对象恢复
版本 [root@control1 ~]# ceph -v ceph version 14.2.22 (ca74598065096e6fcbd8433c8779a2be0c889351) nautilus (stable) 问题 RGW将对象的索引信息存储在 <zone>.rgw.buckets.i ......
JuiceFS CSI Driver 常见问题排查指南
Kubernetes 作为资源调度和应用编排的开源系统，正在成为云计算和现代 IT 基础架构的通用平台。JuiceFS CSI Driver 实现了容器编排系统的存储接口，使得用户可以在 Kubernetes 中以原生的方式使用 JuiceFS。 由于 Kubernetes 自身的复杂性，用户反馈在 ......
云知声: 基于 JuiceFS 的超算平台存储实践
云知声从一家专注于语音及语言处理的技术公司，现在技术栈已经发展到具备图像、自然语言处理、信号等全栈式的 AI 能力，是国内头部人工智能独角兽企业。公司拥抱云计算，在智慧医疗、智慧酒店、智慧教育等方面都有相应的解决方案。 Atlas 是云知声的底层基础技术平台，支撑着云知声所有模型的迭代： 第一层是业 ......