526互联

技术杂文1.关于文件系统的一点调研

发布时间 2024-01-10 15:42:54作者: Qt小罗

背景：客户这边用到了嵌入式设备，该设备用于循环存储记录数据（类似行车记录仪），使用的是FAT文件系统，但是这种文件系统有个问题，在设备长时间循环记录数据或经常断电重启的情况下，数据容易损坏/丢失，想有没有什么方案能够解决此问题，所以就进行了一次调研，特此记录分享。

文章稍微有点长，主要从认识文件系统、对比文件系统、选择文件系统三个方向进行描述，当然主要是针对嵌入式设备，看完后应该会对文件系统有个整体宏观的认识。下面开始进入正题。

1 什么是文件系统？

当我们将文件存储在计算机硬盘或其他存储设备上时，需要一种有组织的方式来管理这些文件，这就是文件系统的作用。所谓的文件系统，是指一组程序和规则，用于组织硬盘或其他存储设备中的文件和目录，并且管理如何访问和保存这些文件和目录。

做个类比可能会更容易理解，想象一下硬盘或其他存储设备就像一本书，文件系统就像这本书的目录和索引，没有目录和索引，你可能很难找到所需的章节，而文件系统也是同样的概念，没有文件系统的管理，我们可能会找不到文件、丢失文件、甚至导致数据损坏。文件系统通过定义文件和目录的组织方式，并利用元数据（如文件名、文件所在位置等）管理文件和目录，从而使我们能直接找到所需的文件，更好地管理和利用我们机器上的数据。

2 文件系统和操作系统的关系是什么？

同样的，可以将操作系统想象成一个房子，而文件系统则是房子的存储空间和组织方式，这样类比可能更容易理解它们之间的关系。

操作系统就像一座房子，它提供了很多功能，像是给你提供一个居住的地方。类似地，操作系统提供了各种功能和服务，例如管理资源、提供用户界面等，让计算机可以正常运行和进行各种操作。

而文件系统就好比这座房子的存储空间和组织方式，就像你在房子里存放衣物、书籍和其他物品一样，文件系统帮助你管理和组织计算机中的文件和数据，它定义了文件和目录的结构和规则，使得文件可以按照一定的方式保存和访问。

你可以选择不同类型的文件系统，就像你可以选择不同的存储方式和组织方式来组织房子的内部空间。不同的文件系统具有不同的特点和限制，例如文件大小限制、文件系统的安全性等。

综上，操作系统和文件系统就像是房子和里面的存储空间一样，操作系统为计算机提供了各种功能和服务，而文件系统帮助管理和组织计算机中的文件和数据。这两者是相互关联的，但又是独立存在的。你可以更换文件系统，就像重新组织房子的存储空间一样，但需要注意文件系统与操作系统的兼容性。

3 不同的操作系统对应的文件系统是什么？

市面上常见的操作系统都使用不同的文件系统，以下是一些常见的文件系统及其所属的操作系统：

  • Windows操作系统常用的文件系统包括FAT（FAT16、FAT32）和NTFS（New Technology File System）。FAT文件系统通常用于较小的存储设备，而NTFS文件系统则用于较大的硬盘和分区。

  • macOS操作系统使用HFS+（Mac OS扩展）和APFS（Apple文件系统）。HFS+是旧版的文件系统，而APFS是苹果公司在较新版本的操作系统中引入的全新文件系统。

  • Linux操作系统支持多种文件系统，其中常见的包括Ext（Ext2、Ext3、Ext4）、XFS（适用于大型文件系统）和Btrfs（用于实现快照、数据压缩等高级功能）。

除了这些常见的文件系统外，还有一些独立的文件系统，用于特定的应用或特定设备。例如，exFAT文件系统是用于移动存储设备（如闪存驱动器）的文件系统，UDF文件系统用于光盘和光驱。

所以，文件系统有多种类型，每种类型适用于不同的操作系统和应用场景，不同的文件系统具有不同的特点，包括可用空间、文件大小限制、数据安全性等。选择适合特定需求的文件系统对于数据的管理和存储具有重要意义。

4 嵌入式设备一般有哪些文件系统？

在嵌入式设备中也常见以下几种文件系统：

  • FAT（File Allocation Table）文件系统是一种简单且常见的文件系统，广泛应用于各种操作系统和存储设备。FAT文件系统通过使用文件分配表（File Allocation Table）来记录文件的存储位置和状态。文件分配表是一个表格结构，通常存储在存储设备的特定区域，如存储设备的引导扇区或文件系统的元数据区。

  • YAFFS/YAFFS2：Yet Another Flash File System（又一个闪存文件系统）。YAFFS是一种针对闪存设备的轻量级文件系统，具有文件完整性检查、坏块管理和磨损平衡等重要特性，可提供较好的数据保护和传输效率。YAFFS2是YAFFS的升级版，具有更好的性能和可靠性。

  • JFFS/JFFS2：Journaling Flash File System（日志式闪存文件系统）。JFFS是一种基于日志的轻量级文件系统，可以解决碎片化问题并提供最小的磨损平衡。JFFS2是JFFS的升级版，支持多个块大小以及更高的压缩比和速度，它采用了日志记录和擦除块管理机制，可以提供更好的数据完整性和磨损均衡，适用于大多数闪存设备，并广泛用于嵌入式系统中。

  • UBIFS：Unsorted Block Image File System（非排序块影像文件系统）。UBIFS是一个支持闪存设备的文件系统，采用UBI（Unsorted Block Image）作为媒介管理协议，具有不需擦除、界面更简单、可移植性好、容错性好等优点，它在媒介管理上具有较好的性能和容错性，支持擦除块的自动均衡，并具有更好的写入保护能力，UBIFS被广泛应用于需要更高可靠性和容错性的嵌入式系统中。

  • ext4：第四代扩展文件系统。ext4是Linux操作系统中的一个文件系统，具有可靠的日志和元数据校验功能，支持比较大的文件和文件系统，适用于嵌入式系统和企业存储等领域，并具有较好的容错性、速度和可靠性。

这些嵌入式文件系统各有特点，大多数都支持闪存设备，并适应于不同场合的需求，可以根据实际应用需求选择适当的文件系统。同时，还可以将不同的文件系统结合起来，以便适应更广泛的应用和存储设备的需求。

5 不同的文件系统的实现原理是什么？

不同的文件系统，它们使用的机制和数据结构都有所不同，以下是针对FAT文件系统、ext4文件系统和UBIFS文件系统的原理说明：

5.1 FAT 文件系统

FAT（File Allocation Table）文件系统使用的是文件分配表（File Allocation Table）的方式来记录文件的存储位置和状态。文件分配表是一个表格结构，通常存储在存储设备的特定区域，比如引导扇区或文件系统的元数据区。

在FAT文件系统中，文件分配表被分为两部分：FAT12、FAT16或FAT32。每个条目代表一个簇（或扇区），并且保存有关簇的使用情况的信息。通过遍历文件分配表可以找到文件存储的位置，从而实现文件的读取和写入。FAT文件系统的文件分配表结构简单且易于实现，但在大容量存储设备上可能存在一些性能上的限制。

5.2 ext4 文件系统

ext4（第四代扩展文件系统）是一种常见的日志文件系统，用于Linux操作系统。它使用的是索引节点（inode）来记录文件的元数据，包括文件的权限、所有者、文件大小等信息。每个文件都有一个关联的索引节点，而索引节点中包含了指向文件数据块的指针。

ext4文件系统使用了一种称为extents的机制，用于记录文件的逻辑块在物理存储设备上的位置，以减少磁盘寻道的开销并提高文件系统的性能。另外，ext4还支持延迟分配和多块分配等技术，以提高大文件的性能。

5.3 UBIFS 文件系统

UBIFS（Unsorted Block Image File System）是一种针对闪存设备的文件系统，它使用了一种称为UBI（Unsorted Block Image）的媒体管理协议来管理闪存块。UBIFS使用日志结构，被设计为对闪存设备具有更好的兼容性和可靠性。

UBIFS不使用传统的索引节点结构，而是直接将文件数据和元数据存储在闪存设备的块中，以减少写入操作的开销。由于闪存设备的特性，UBIFS在设计上考虑了磨损均衡和错误恢复等问题，并且可以提供更好的性能和可靠性。

5.4 NTFS文件系统

NTFS（New Technology File System）是Windows操作系统中常用的文件系统，与FAT文件系统不同，NTFS采用了更复杂的数据结构和机制来管理文件和存储设备。

NTFS使用文件分配表（MFT，Master File Table）来存储文件的元数据信息。MFT是一个特殊的文件，它包含了所有文件和目录的描述信息，如文件名、大小、创建日期和访问权限等。MFT记录了文件在存储设备上的位置，允许快速访问文件。

NTFS中的每个文件和目录都有一个对应的文件记录。文件记录存储了文件的元数据信息，如文件的属性、特征和数据的存储位置。文件记录的大小可以根据需要进行调整，以适应不同大小的文件。

NTFS使用簇作为文件存储的基本单位。簇是连续的扇区，其大小可以根据存储设备的大小和格式进行调整。NTFS的簇大小通常较大，能够减少磁盘碎片和提高文件系统的性能。

NTFS支持对文件进行压缩，以减少存储空间的使用。通过使用LZ77算法进行压缩，NTFS能够在保持文件访问性能的同时，提供更高的存储效率。

总之，不同的文件系统使用不同的机制和数据结构来管理文件的存储和元数据信息。每种文件系统都有其独特的优点和局限性，适用于不同的应用场景和存储设备要求。

6 不用文件系统能不能实现文件的读写？若能会面临哪些挑战？

即使不使用文件系统，也可以将数据写入存储设备，在没有文件系统的情况下，数据可以直接写入到存储设备的物理空间中。

实现这种直接写入数据的方式，通常需要借助底层的硬件接口或者设备驱动程序，具体的方法取决于存储设备的类型和接口。

例如，对于存储介质为闪存的设备，可以通过底层的闪存控制器接口，直接向闪存芯片发送写入指令，并指定数据写入的物理地址和数据内容。

对于存储介质为磁盘的设备，可以通过底层的磁盘驱动程序，使用磁盘控制器接口来进行数据的写入操作，磁盘驱动程序会负责将数据转化为磁盘可识别的格式，并将其写入磁盘的物理扇区。

在没有文件系统的情况下，需要自行管理数据的存储位置和读写操作，可以通过自定义的方法来指定数据在存储设备上的位置，并编写相应的读写函数或程序来实现数据的读写。这样的方式需要更多的开发工作和对底层硬件的了解。

需要特别注意的是，直接写入数据到存储设备可能会带来一些风险和挑战，例如数据一致性、文件碎片化、存储设备的磨损和错误处理等问题。因此，在实现时需要仔细考虑这些因素，并确保数据的完整性和可靠性。

  • 数据一致性：在使用文件系统的情况下，系统会维护文件与FAT表或者类似的元数据之间的关联关系，确保数据的完整性和一致性。但是在直接写入数据的情况下，需要自己来维护数据之间的关联关系和一致性。如果数据写入不完整或者数据之间的关联关系出现问题，可能会影响数据的可靠性和完整性。
  • 文件碎片化：文件碎片化是指在写入数据的过程中，数据被拆分成了多个物理块或者扇区的情况。随着数据的不断写入和删除，存储设备上会出现大量的碎片，可能导致数据读取和写入的效率下降，进而影响存储设备的性能。
  • 存储设备的磨损：存储设备被不断地写入数据会导致存储介质的磨损。在没有使用文件系统的情况下，可能没有进行坏块管理，因此会出现坏块，导致数据丢失以及设备的寿命缩短。
  • 错误处理：在直接将数据写入存储设备中时，需要考虑错误处理的问题。如果数据写入失败，可能会损坏存储设备的数据，甚至导致设备失效。因此，需要考虑如何处理数据写入或者存储设备出现异常的情况。

7 相比之下，使用文件系统的优势有什么？

无论是使用文件系统还是不使用文件系统，存储设备在循环写入数据时都有损坏的可能性。然而，使用文件系统可以提供更好的数据管理和写入保护机制，从而降低了数据损坏的概率。

使用文件系统可以通过文件分配表（FAT）或其他元数据来记录文件的位置和状态，以及管理文件的访问和写入。文件系统会处理文件的碎片化、坏块管理和磨损平衡等问题，提供一定的数据安全性和可靠性。

相比之下，如果不使用文件系统，需要手动处理数据的存储和管理。在直接将数据写入存储设备时，容易出现数据不一致、碎片化、坏块无法处理等问题。这使得数据可能更容易受损，也增加了管理和维护数据的难度。

因此，使用文件系统可以提供更好的数据保护和数据管理功能，相对于直接写入存储设备，它可以降低数据损坏的风险。

8 针对需循环存储数据的嵌入式设备，建议使用哪种文件系统？

针对需要较高可靠性的嵌入式设备用于循环存储数据的情况，可考虑使用UBIFS（Unsorted Block Image File System）文件系统。UBIFS是一种专门针对闪存设备设计的文件系统，具有以下特点，使其非常适合嵌入式设备的循环存储应用：

  • 可靠性：UBIFS设计上考虑了闪存设备的特性，包括磨损均衡、错误恢复和坏块管理等方面。它实现了高度的可靠性，能够有效地减少数据损坏和存储设备的各类问题。

  • 日志结构：UBIFS采用日志结构，具备事务日志、原子性写入和数据一致性的特点，能够避免数据丢失和文件系统损坏的风险。这在循环存储数据的应用场景下尤为重要，特别是在意外断电或系统故障时能够有效地保护数据完整性。

  • 支持闪存特性：UBIFS能够充分利用闪存设备的特性，如快速随机访问、块擦除和寿命管理等，以提高性能和延长存储设备的寿命。

综上，对于需要较高可靠性的嵌入式设备用于循环存储数据，选择UBIFS文件系统能够提供更好的数据保护和系统稳定性，从而满足对可靠性和稳定性要求较高的应用场景。

9 针对上一个问题，为什么不建议使用FAT文件系统？

FAT（File Allocation Table）文件系统在许多嵌入式系统和一些嵌入式设备上是非常常见的，因为它具有许多优点，比如与各种操作系统的良好兼容性、简单的实现和管理，以及与许多嵌入式设备的闪存存储器兼容。

然而，FAT文件系统也存在一些缺点，这些缺点可能导致在某些情况下不适合特定的嵌入式设备，尤其是对于需要高可靠性和性能的嵌入式设备循环存储数据的场景：

  • 可靠性：FAT文件系统在面对意外断电或系统故障时，容易造成文件系统损坏或数据丢失。它不像其他专门设计用于闪存设备的文件系统（如UBIFS、YAFFS等）具有事务日志和坏块管理等特性，因此在需要更高可靠性的应用场景下可能不够理想。

  • 性能：FAT文件系统通常不会为嵌入式设备的闪存存储提供最佳的性能。它的文件分配和存储结构可能导致较低的存储效率和性能，尤其是在需要频繁进行写入和循环存储数据的应用中。

  • 文件大小限制：FAT文件系统通常存在针对单个文件大小和整个存储介质容量的限制，这可能限制了嵌入式设备上单个文件的存储能力，尤其是在需要存储大容量数据的应用中。

综合考虑这些因素，FAT文件系统在某些情况下可能不适合对可靠性和性能要求较高的嵌入式设备的循环存储数据的应用。因此，在这些情况下，可以考虑选择其他专门设计用于嵌入式设备闪存存储的文件系统，以满足对可靠性、性能和稳定性要求更高的应用场景。

10 如何确定嵌入式设备是否支持UBIFS文件系统？

是否支持特定文件系统需要考虑以下几点：

  • 嵌入式设备硬件支持：UBIFS文件系统通常需要硬件支持MTD（Memory Technology Device）或类似的闪存设备，以便正确管理嵌入式设备上的闪存存储。因此，首先需要确认嵌入式设备硬件上是否集成了符合要求的闪存存储设备。

  • 嵌入式设备操作系统支持：UBIFS文件系统需要在嵌入式设备的操作系统内核中得到支持和集成。因此，需要检查嵌入式设备所运行的操作系统是否已经包含了UBIFS文件系统模块，并确保操作系统内核具备对UBIFS的支持。通常，主流的嵌入式操作系统，如Linux的嵌入式版本，已经包含了对UBIFS的支持。

  • 文件系统驱动程序：嵌入式设备的操作系统和硬件平台需要有对应的文件系统驱动程序来支持使用特定的文件系统。这些驱动程序需要能够正确地识别和操作对应的文件系统，以确保嵌入式设备可以正常读写和管理存储设备上的数据。

因此，确定嵌入式设备是否支持特定文件系统，需要综合考虑硬件支持、操作系统支持和文件系统驱动程序的情况。如果嵌入式设备的操作系统已经支持了UBIFS文件系统，并且硬件平台符合要求，通常可以认为该嵌入式设备是支持UBIFS文件系统的。

当然，如果嵌入式设备不支持UBIFS文件系统，也可以使用YAFFS、JFFS2等文件系统，这些文件系统都是针对闪存设备和嵌入式设备设计的，能够充分利用闪存的特性并提供可靠的数据保护，因此可以作为备选方案用于支持嵌入式设备的循环存储应用。

11 小结

针对嵌入式设备的文件系统选择，需要综合考虑可靠性、性能和适配性等因素。尽管FAT文件系统具有与多种操作系统的兼容性和简单的管理特性，但在需要高可靠性和性能的嵌入式设备循环存储数据的场景中，可能并不是最理想的选择。相比之下，像UBIFS、YAFFS、JFFS2这样专门设计用于嵌入式设备的文件系统，通常能够提供更好的可靠性、性能和闪存存储的支持，因此更适合这些应用场景。在实际选择文件系统时，需要根据具体应用需求和设备特性进行评估，从而做出最适合的文件系统选择。