Speculative
使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速
Open AI 推出的 Whisper 是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的 large-v3 模型登顶了 OpenASR 排行榜，被评为最佳的开源英语语音转录模型。该模型在 Common Voice 15 数据集的 58 种语言中也展现出了强大的多语言性能，在 ......
speculative-sampling笔记
title: speculative-sampling笔记 banner_img: https://cdn.studyinglover.com/pic/2023/09/d5ca60e13944b8fb7e33e289bdc411d3.png index_img: https://cdn.studyi ......