JuiceFS
韩国国民搜索 NAVER：为 AI 平台引入存储方案 JuiceFS
NAVER 是一家多元化的互联网公司，拥有韩国最大的搜索引擎并在人工智能、自动驾驶等高科技领域积极投入。 在搭建 AI 平台时，NAVER 评估了公有云平台的存储产品、Alluxio 以及高性能专用存储产品等多种选项后，最终决定采用 JuiceFS。通过使用JuiceFS，NAVER 成功地将内部存 ......
机器人行业数据闭环实践：从对象存储到 JuiceFS
JuiceFS 社区聚集了来自各行各业的前沿科技用户。本次分享的案例来源于刻行，一家商用服务机器人领域科技企业。 商用服务机器人指的是我们日常生活中常见的清洁机器人、送餐机器人、仓库机器人等。刻行采用 JuiceFS 来弥补对象存储性能不足等问题。 值得一提的是，前不久社区版 v1.1 中发布的“克 ......
手把手教你搭建 Ceph＋JuiceFS
Ceph 提供了对象存储，可作为存储引擎在 JuiceFS 中使用。这一组合非常适合云计算、大数据分析和机器学习等数据密集型应用场景。 在日常部署中可直接通过 Ceph RADOS 配合 JuiceFS 使用，无需部署 RGW。基于此方案实践以及运维中的常见问题，结合Ceph 官方文档整理了这篇博客 ......
JuiceFS 用户必备的 6 个技巧
随着大数据、AI 技术的发展，越来越多的企业、团队和个人开始使用 JuiceFS，本文整理了 6 个超实用的 JuiceFS 技巧，帮助大家提升 JuiceFS 的管理效率。 一、查看已挂载的文件系统 有时候你可能在一台机器上挂载了多个 JuiceFS 文件系统，或是在多台机器上使用不同的选项挂载了 ......
基于JuiceFS 的低成本 Elasticsearch 云上备份存储
杭州火石创造是国内专注于产业大数据的数据智能服务商，为了解决数据存储及高效服务客户需求，选择了 Elasticsearch 搜索引擎进行云上存储。基于性能和成本的考虑，在阿里云选择用本地 SSD ECS 机型自建集群。但由于是自建集群，如何同步解决数据备份问题并实现最优成本呢？ 1.背景介绍 Ela ......
JuiceFS 简介
JuiceFS 简介 JuiceFS 是一款面向云原生设计的高性能分布式文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。 JuiceFS 采用「数据」与「元数据」分离存 ......
JuiceFS 目录配额功能设计详解
JuiceFS 在最近 v1.1 版本中加入了社区中呼声已久的目录配额功能。已发布的命令支持为目录设置配额、获取目录配额信息、列出所有目录配额等。完整的详细信息，请查阅文档。 在设计此功能时，对于它的统计准确性，实效性以及对性能的影响，团队内部经历过多次讨论和权衡。在本文中，我们会详述一些在设计关键 ......
浅析 GlusterFS 与 JuiceFS 的架构异同
在进行分布式文件存储解决方案的选型时，[GlusterFS](https://github.com/gluster/glusterfs) 无疑是一个不可忽视的考虑对象。作为一款开源的软件定义分布式存储解决方案，GlusterFS 能够在单个集群中支持高达 PiB 级别的数据存储。自从首次发布以来，已 ......
使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎
概览 JuiceFS 是一款面向云原生设计的高性能共享文件系统，在 Apache 2.0 开源协议下发布。JuiceFS 提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。JuiceFS 也提供如 HDFS 兼容的 API ......
实现无限存储：基于JuiceFS 创建 Samba 和 NFS 共享
随着企业数据量的持续增长，存储容量需求日益增大。如何采用没有容量上限的云存储替换本容量有限的本地磁盘，已成为广泛的需求和共识。特别是在企业中常用的 Samba 和 NFS 共享，如果能够使用云存储作为底层存储，就能有效解决存储扩容和本地磁盘损坏导致的数据丢失问题。 本文将以 Linux 系统为例，介 ......
之江实验室： 如何基于 JuiceFS 为超异构算力集群构建存储层 ？
> 今天，高性能计算结合人工智能技术正在推动科研创新。例如通过破解水稻基因密码推动作物育种从“试验选优”向“计算选优”发展，在医药领域快速分析分子与蛋白之间的相互作用，发现潜在的能够有效干预疾病发生的药物分子。 之江实验室就是上述科研创新的推动者，实验室由浙江省政府主导、浙江大学等院校支持、企业参与 ......
JuiceFS 社区版 v1.1- Beta 发布，新增五个实用功能
我们很高兴地宣布 JuiceFS v1.1-Beta 版本正式发布啦！这是一个功能丰富的版本，带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能： - 目录配额：为目录设置配额限制，控制其大小和文件数 - 目录克隆：快速地复制目录及其内容，节省时间和空间 - 一键恢复回收站文件：一次性地恢 ......
juicefs 方便mac 进行utm 虚拟机的文件共享
以前写过基于sshfs 实现共享的，以下是一个基于juicefs的，可以参考 参考玩法 简单说明: 每个系统都挂载juicefs 参考使用 创建juicefs 依赖资源 version: '3' services: db: image: mysql:5.6 environment: - MYSQL_ ......
如何借助分布式存储 JuiceFS 加速 AI 模型训练
传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像 JuiceFS 这样的分布式存储并不是必需品。 随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。AI 团队通常会面临以下几种问题： 数据集太 ......
云上大数据存储：探究 JuiceFS 与 HDFS 的异同
HDFS 作为 Hadoop 提供存储组件，已经成为大数据生态里面数据存储最常用的选择，通常在机房环境部署。 JuiceFS 是一个基于对象存储的分布式文件系统，用户可以在云上快速地搭建按需扩容的弹性文件系统。 如果企业正在考虑在云上构建大数据平台，了解这两种产品的差异和优缺点，可以为企业迁移或切换 ......
Sidecar-详解 JuiceFS CSI Driver 新模式
近期发布的 JuiceFS CSI Driver v0.18 版本中，我们提供了一种全新的方式访问文件系统，即 JuiceFS 客户端以 Sidecar 方式运行于应用 Pod 中，且客户端与应用同生命周期。 这个全新的功能将帮助用户在 Serverless Kubernetes 环境中使用 Jui ......
JuiceFS CSI Driver 常见问题排查指南
Kubernetes 作为资源调度和应用编排的开源系统，正在成为云计算和现代 IT 基础架构的通用平台。JuiceFS CSI Driver 实现了容器编排系统的存储接口，使得用户可以在 Kubernetes 中以原生的方式使用 JuiceFS。 由于 Kubernetes 自身的复杂性，用户反馈在 ......
云知声: 基于 JuiceFS 的超算平台存储实践
云知声从一家专注于语音及语言处理的技术公司，现在技术栈已经发展到具备图像、自然语言处理、信号等全栈式的 AI 能力，是国内头部人工智能独角兽企业。公司拥抱云计算，在智慧医疗、智慧酒店、智慧教育等方面都有相应的解决方案。 Atlas 是云知声的底层基础技术平台，支撑着云知声所有模型的迭代： 第一层是业 ......