MP4封装格式

一、规范介绍

　　ISO/IEC 14496是MPEG专家组指定的MPEG-4标准。该标准分为21个部分：

• Part 1: Systems
• Part 2: Visual
• Part 3: Audio
• Part 4: Conformance testing
• Part 5: Reference software
• Part 6: Delivery Multimedia Integration Framework (DMIF)
• Part 7: Optimized reference software for coding of audio-visual objects
• Part 8: Carriage of ISO/IEC 14496 contents over IP networks
• Part 9: Reference hardware description
• Part 10: Advanced Video Coding
• Part 11: Scene description and application engine
• Part 12: ISO base media file format
• Part 13: Intellectual Property Management and Protection (IPMP) extensions
• Part 14: MP4 file format
• Part 15: Carriage of NAL unit structured video in the ISO Base Media File Format
• Part 16: Animation Framework eXtension (AFX)
• Part 17: Streaming text format
• Part 18: Font compression and streaming
• Part 19: Synthesized texture stream
• Part 20: Lightweight Application Scene Representation (LASeR) and Simple Aggregation Format (SAF)
• Part 21: MPEG-J Graphics Framework eXtensions (GFX)
• Part 22: Open Font Format
• Part 23: Symbolic Music Representation
• Part 24: Audio and systems interaction
• Part 25: 3D Graphics Compression Model
• Part 26: Audio conformance
• Part 27: 3D Graphics conformance
• Part 28: Composite font representation
• Part 29: Web video coding
• Part 30: Timed text and other visual overlays in ISO base media file format
• Part 31: Video Coding for Browsers

　　MP4封装格式对应的标准为ISO/IEC 14496-12，即信息技术对象编码的第12部分：ISO基本媒体文件格式(Information technology Coding of audio-visual objects Part 12:ISO Base media file format)。

二、文件结构

      MP4文件由于各个不同类型的Box组成，Box可以包含Box，其组成大致如下：

     所有类型的Box如下表所示，其中标*号的是MP4文件中必须要带有的Box。

　　其中，下面三个是必须必带的顶层Box：

ftyp: File Type Box，描述文件遵从的MP4规范；

moov：Movie Box，媒体的元数据信息，有且只有一个；

mdat：Media Data Box，存放实际的媒体数据(音频、视频)；

　　对MP4文件必须携带的Box通过思维导图梳理下：

三、关键BOX解析

　　Box分为两种：Box和Full Box，区别为Box Header不一样，Full Box由Box派生得到，在尾部多了4字节的version(1字节)+flags(3字节)；

       Box=Box header+Box body，结构入下图所示：

Box Header

    字段定义如下：

l  type：box类型，包括 “预定义类型”、“自定义扩展类型”，占4个字节(对应类型的ASCII码)；

l  预定义类型：比如ftyp、moov、mdat等预定义好的类型；

l  自定义扩展类型：如果type==uuid，则表示是自定义扩展类型。size（或largesize）随后的16字节，为自定义类型的值（extended_type）

l  size：包含box header在内的整个box的大小，单位是字节。当size为0或1时，需要特殊处理：

l  size等于0：box的大小由后续的largesize确定（一般只有装载媒体数据的mdat box会用到largesize）；

l  size等于1：当前box为文件的最后一个box，通常包含在mdat box中；

l  largesize：当size为0时才存在，表示box的大小，占8个字节；(一般不使用)

l  extended_type：自定义扩展类型，占16个字节；(type==uuid才存在)

Box Body

    box数据体，不同box包含的内容不同，需要参考具体box的定义。有的 box body 很简单，比如 ftyp。有的 box 比较复杂，可能嵌套了其他box，比如moov。

3.2    关键Box介绍

3.2.1 ftyp (File Type Box)

    isom（ISO Base Media file）是在 MPEG-4 Part 12 中定义的一种基础文件格式，MP4、3gp、QT 等常见的封装格式，都是基于这种基础文件格式衍生的。

    MP4 文件可能遵循的规范有mp41、mp42，而mp41、mp42又是基于isom衍生出来的。

3gp(3GPP)：一种容器格式，主要用于3G手机上；
QT：QuickTime的缩写，.qt 文件代表苹果QuickTime媒体文件；

ftyp定义如下：

l  major_brand：比如常见的 isom、mp41、mp42、avc1、qt等。它表示“最好”基于哪种格式来解析当前的文件。举例，major_brand 是 A，compatible_brands 是 A1，当解码器同时支持 A、A1 规范时，最好使用A规范来解码当前媒体文件，如果不支持A规范，但支持A1规范，那么，可以使用A1规范来解码；

l  minor_version：提供 major_brand 的说明信息，比如版本号，不得用来判断媒体文件是否符合某个标准/规范；

l  compatible_brands：文件兼容的brand列表。比如 mp41 的兼容 brand 为 isom。通过兼容列表里的 brand 规范，可以将文件 部分（或全部）解码出来；

3.2.2 moov(Movie Box)

    Movie Box，存储 mp4 的 metadata，是描述媒体信息的最主要Box，通过包含多个子Box记录信息。

moov中，最重要的两个box是 mvhd 和 trak：

l  mvhd：Movie Header Box，mp4文件的整体信息，比如创建时间、文件时长等；

l  trak：Track Box，一个mp4可以包含一个或多个轨道（比如视频轨道、音频轨道），轨道相关的信息就在trak里。trak是container box，至少包含两个box，tkhd、mdia；

mvhd针对整个影片，tkhd针对单个track，mdhd针对媒体，vmhd针对视频，smhd针对音频，可以认为是从 宽泛 > 具体，前者一般是从后者推导出来的。

mvhd（Movie Header Box）

    MP4文件的整体信息，跟具体的视频流、音频流无关，比如创建时间、文件时长等。

 字段含义如下：

l  creation_time：文件创建时间；

l  modification_time：文件修改时间；

l  timescale：一秒包含的时间单位（整数）。举个例子，如果timescale等于1000，那么，一秒包含1000个时间单位（后面track等的时间，都要用这个来换算，比如track的duration为10,000，那么，track的实际时长为10,000/1000=10s）；

l  duration：影片时长（整数），根据文件中的track的信息推导出来，等于时间最长的track的duration；

l  rate：推荐的播放速率，32位整数，高16位、低16位分别代表整数部分、小数部分（[16.16]），举例 0x0001 0000 代表1.0，正常播放速度；

l  volume：播放音量，16位整数，高8位、低8位分别代表整数部分、小数部分（[8.8]），举例 0x01 00 表示 1.0，即最大音量；

l  matrix：视频的转换矩阵，一般可以忽略不计；

l  next_track_ID：32位整数，非0，一般可以忽略不计。当要添加一个新的track到这个影片时，可以使用的track id，必须比当前已经使用的track id要大。也就是说，添加新的track时，需要遍历所有track，确认可用的track id；

tkhd（Track Box）

单个 track 的 metadata，包含如下字段：

l  version：tkhd box的版本；

l  flags：按位或操作获得，默认值是7（0x000001 | 0x000002 | 0x000004），表示这个track是启用的、用于播放的 且 用于预览的。

    Track_enabled：值为0x000001，表示这个track是启用的，当值为0x000000，表示这个track没有启用；

    Track_in_movie：值为0x000002，表示当前track在播放时会用到；

    Track_in_preview：值为0x000004，表示当前track用于预览模式；

l  creation_time：当前track的创建时间；

l  modification_time：当前track的最近修改时间；

l  track_ID：当前track的唯一标识，不能为0，不能重复；

l  duration：当前track的完整时长（需要除以timescale得到具体秒数）；

l  layer：视频轨道的叠加顺序，数字越小越靠近观看者，比如1比2靠上，0比1靠上；

l  alternate_group：当前track的分组ID，alternate_group值相同的track在同一个分组里面。同个分组里的track，同一时间只能有一个track处于播放状态。当alternate_group为0时，表示当前track没有跟其他track处于同个分组。一个分组里面，也可以只有一个track；

l  volume：audio track的音量，介于0.0~1.0之间；

l  matrix：视频的变换矩阵；

l  width、height：视频的宽高；

hdlr（Handler Reference Box）

声明当前track的类型，以及对应的处理器（handler）。

handler_type的取值包括：

l  vide（0x76 69 64 65），video track；

l  soun（0x73 6f 75 6e），audio track；

l  hint（0x68 69 6e 74），hint track；

l  name，为utf8字符串，对handler进行描述；

stbl（Sample Table Box）

    stbl是所有Box最复杂的一个Box，包含多个Box，也是携带信息最主要的Box。MP4文件的媒体数据部分在mdat box里，而stbl则包含了这些媒体数据的索引以及时间信息，了解stbl对解码、渲染MP4文件很关键。

    stbl中比较关键的box包含stsd、stco、stsc、stsz、stts、stss、ctts，概要介绍如下：

l  stsd：给出视频、音频的编码、宽高、音量等信息，以及每个sample中包含多少个frame；

l  stco：thunk在文件中的偏移；

l  stsc：每个thunk中包含几个sample；

l  stsz：每个sample的size（单位是字节）；

l  stts：每个sample的时长；

l  stss：哪些sample是关键帧；

l  ctts：帧解码到渲染的时间差值，通常用在B帧的场景；

stsd（Sample Description Box）

    stsd给出sample的描述信息，这里面包含了在解码阶段需要用到的任意初始化信息，比如编码等。对于视频、音频来说，所需要的初始化信息不同，这里以视频为例。

 　在SampleDescriptionBox 中，handler_type 参数 为 track 的类型（soun、vide、hint），entry_count 变量代表当前box中 smaple description 的条目数。

    针对不同的handler_type，SampleDescriptionBox 后续应用不同的 SampleEntry 类型，比如当类型为video track时，SampleEntry为VisualSampleEntry，字段如下图：

VisualSampleEntry包含如下字段：

l  width、height：视频的宽高，单位是像素；

l  horizresolution、vertresolution：水平、垂直方向的分辨率（像素/英寸），16.16定点数，默认是0x00480000（72dpi）；

l  frame_count：一个sample中包含多少个frame，对video track来说，默认是1；

l  compressorname：仅供参考的名字，通常用于展示，占32个字节，比如 AVC Coding。第一个字节，表示这个名字实际要占用N个字节的长度。第2到第N+1个字节，存储这个名字。第N+2到32个字节为填充字节。compressorname 可以设置为0；

l  depth：位图的深度信息，比如 0x0018（24），表示不带alpha通道的图片；

    其中codingname代表视频编码格式，例如，当视频编码格式为H.264时，codingname=’avc1‘或’avc2‘，该Box对应的规范在ISO/IEC 14496-Part 15: Carriage of NAL unit structured video in the ISO Base Media File Format

中规定。入下图所示，为'acv1'Box字段定义，’avc1‘ Box主要信息存在内部的’avcC‘ Box中，’avcC‘ Box主要如下图二所示。

 其中重要的字段如下：

l  lengthSizeMinusOne：代表在mdat Box中在每帧前用(lengthSizeMinusOne+1)个字节代表帧数据长度，一般取值是3，即用4个字节前缀记录帧长度；

l  numOfSequenceParameterSet~sequenceParametrSetNALUnit：保存SPS数据；

l  numOfPictureParameterSets~ pictureParameterSetNALUnit：保存PPS数据

stco（Chunk Offset Box）

    chunk在文件中的偏移量。针对小文件、大文件，有两种不同的box类型，分别是stco、co64，它们的结构是一样的，只是字段长度不同。

    chunk_offset 指的是在文件本身中的 offset，而不是某个box内部的偏移。

    在构建mp4文件的时候，需要特别注意 moov 所处的位置，它对于chunk_offset 的值是有影响的。有一些MP4文件的 moov 在文件末尾，为了优化首帧速度，需要将 moov 移到文件前面，此时，需要对 chunk_offset 进行改写。

stsc（Sample To Chunk Box）

    ample 以 chunk 为单位分成多个组。chunk的size可以是不同的，chunk里面的sample的size也可以是不同的。

l  entry_count：有多少个表项（每个表项，包含first_chunk、samples_per_chunk、sample_description_index信息）；

l  first_chunk：当前表项中，对应的第一个chunk的序号；

l  samples_per_chunk：每个chunk包含的sample数；

l  sample_description_index：指向 stsd 中 sample description 的索引值（参考stsd小节）；

l  前面描述比较抽象，这里看个例子，这里表示的是：

l  序号1~15的chunk，每个chunk包含15个sample；

l  序号16的chunk，包含30个sample；

l  序号17以及之后的chunk，每个chunk包含28个sample；

l  以上所有chunk中的sample，对应的sample description的索引都是1；

 stsz（Sample Size Boxes）

    每个sample的大小（字节），根据 sample_size 字段，可以知道当前track包含了多少个sample（或帧）。

l  sample_size：默认的sample大小（单位是byte），通常为0。如果sample_size不为0，那么，所有的sample都是同样的大小。如果sample_size为0，那么，sample的大小可能不一样。

l  sample_count：当前track里面的sample数目。如果 sample_size==0，那么，sample_count 等于下面entry的条目；

|  entry_size：单个sample的大小（如果sample_size==0的话）；

stts（Decoding Time to Sample Box）

    stts包含了DTS到sample number的映射表，主要用来推导每个帧的时长。

l  entry_count：stts 中包含的entry条目数；

l  sample_count：单个entry中，具有相同时长（duration 或 sample_delta）的连续sample的个数。

l  sample_delta：sample的时长（以timescale为计量）

stss（Sync Sample Box）

    mp4文件中，关键帧所在的sample序号。如果没有stss的话，所有的sample中都是关键帧(I帧)。

l  entry_count：entry的条目数，可以认为是关键帧的数目；

l  sample_number：关键帧对应的sample的序号；（从1开始计算）

3.2.3 mdat(Movie Box)

l  data[]：保存实际的媒体数据，如果是视频数据，则data[0]~data[3]标识当前帧长度，data[4]~data[n]为当前帧数据=NALU不包含startcode数据。

四、参考

参考：ISO/IEC 14496-Part12和ISO/IEC 14496-Part15（规定AVC/HEVC BOX的语法）

本栏目推荐文章
• 手把手教你MongoDB 数据库连接URL 格式、authSource参数
• https://mp.weixin.qq.com/s/dBVwoInshAv3wMxkx9Sfvw
• 字符串格式化
• [JMeter] JMeter的测试报告格式转换(.jtl => html)
• 2024年更新「GIS数据」全国的GeoJSON、shp格式数据下载获取(精确到乡镇街道级)
• 第六天：shell脚本编程基础格式规范及变量
• axios中使用qs.stringify格式化get请求参数
• 使用daplink下载任意格式固件
• ARM ELF文件格式
• stm32 文件格式对比

格式 MP4 MP格式python视频mp4 格式m3u8 mp4 m3 格式jsch m3u8 mp4 格式mp4 mp 格式 视频flv mp4 mp4 mp4box mediacodec android mp4 mp ffmpeg mp4box 4box dash 缓存m4s mp4 m4