Opus音频编码格式-526互联

概念原理

Opus是一个有损音频压缩的数字音频编码格式，由Xiph.Org基金会开发，之后由互联网工程任务组（IETF）进行标准化，目标是希望用单一格式包含声音和语音，取代Speex和Vorbis，且适用于网络上低延迟的即时声音传输，标准格式定义于RFC 6716文件。Opus格式是一个开放格式，使用上没有任何专利或限制。

Opus集成了两种声音编码的技术：以语音编码为导向的SILK和低延迟的CELT。Opus可以无缝调节高低比特率。在编码器内部它在较低比特率时使用线性预测编码在高比特率时候使用变换编码（在高低比特率交界处也使用两者结合的编码方式）。Opus具有非常低的算法延迟（默认为22.5 ms），非常适合用于低延迟语音通话的编码，像是网络上的即时声音流、即时同步声音旁白等等，此外Opus也可以透过降低编码比特率，达成更低的算法延迟，最低可以到5 ms。在多个听觉盲测中，Opus都比MP3、AAC、HE-AAC等常见格式，有更低的延迟和更好的声音压缩率。

技术特性

比较不同声音编码格式的比特率、采样率与延迟性。

Opus可以处理各种音频应用，包括IP语音、视频会议、游戏内聊天、流音乐、甚至远程现场音乐表演。它可以从低比特率窄带语音扩展到非常高清音质的立体声音乐。支持的功能包括：

6 kb/秒到510 kb/秒的比特率；单一频道最高256 kb/秒
采样率从8 kHz（窄带）到48 kHz（全频）
帧大小从2.5毫秒到60毫秒
支持恒定比特率（CBR）、受约束比特率（CVBR）和可变比特率（VBR）
支持语音（SILK层）和音乐（CELT层）的单独或混合模式
支持单声道和立体声；支持多达255个音轨（多数据流的帧）
可动态调节比特率，音频带宽和帧大小
良好的鲁棒性丢失率和数据包丢失隐藏（PLC）
浮点和定点实现

优点特色

Opus在更高的比特率下，已被证明具有优异的音质，而它的音频格式比AAC、HE-AAC和Vorbis更具有竞争力。

在64kbit / s的听力测试中，与HE-AAC编解码器相比，Opus表现出更优异的音质，HE-AAC由于使用了专利的频谱带复制（SBR）技术，这些编解码器在以前占主导地位。在96 kbit / s的听力测试中，Opus显示出比Vorbis略高的音质，与AAC和MP3相比音质明显更好。

Opus具有非常低的算法延迟，作为低音频延迟通信链路一部分的必要性，可以在现场活动中允许自然对话，网络音乐表演或对嘴表演。音频格式的总算法延迟是无论处理速度和传输速度如编码器和实况音频流的解码器必须承担的延迟的总和，例如将音频样本缓冲到块或帧中，允许窗口重叠和可能允许对噪声整形在解码器中先行和任何其他形式的先行的，或用于将MP3编码器，使用的比特存储器。

150毫秒以下的单向延迟是大多数VoIP系统的首选目标，使自然对话与转向受到延迟的影响很小。音乐家通常会感觉到高达约30毫秒音频延迟的时间，大致符合Haas效果的融合时间，尽管将每个用户自己的乐器的播放延迟与往返延迟相匹配也可以有所帮助。音频╱视频同步，约45-100毫秒的音频延迟可能是可以接受的。

Opus允许减少质量或提高比特率以实现更小的算法延迟（最小5.0 ms）。虽然参考实现的默认Opus帧为20.0 ms长，但SILK层需要进一步5.0 ms的前瞻加1.5 ms进行重采样，默认延迟为26.5 ms。当CELT层处于活动状态时，默认情况下，为了与SILK层同步，窗口重叠需要2.5 ms的前视，其中添加了4.0 ms的匹配延迟。如果编码器在特殊限制低延迟模式下实例化，则删除4.0 ms匹配延迟，并禁用SILK层，允许5.0 ms的最小算法延迟。

参考文档：

https://chenliang.org/2020/03/15/opus-format/

https://www.cnblogs.com/dylancao/p/16168725.html

https://blog.nannan.cool/archives/293/