ElevenLabs 公开强制对齐模型 Cue:字符级时间轴,一小时音频约半秒对齐,可单独走 API 用于字幕和歌词
ElevenLabs 在 10 月 28 日的官方博客中介绍了强制对齐模型 Cue,它负责把文字稿里的每个字符对到音频时间轴上,已在 Scribe 语音转文字、字幕、配音和歌词时间轴背后运行,并可通过 Forced Alignment API 单独调用;官方称长录音一次处理、不用切段,一小时音频约半秒对齐完。
语音 AI 公司 ElevenLabs 在 10 月 28 日的官方博客里介绍了 Cue,这是它自研的强制对齐(forced alignment)模型。所谓强制对齐,就是手里已经有音频和文字稿,让模型算出每个字、每个词在音频里出现的准确时间,字幕卡点、点词跳转、歌词滚动都靠这一步。
按官方说法,Cue 有几个特点:
- 字符级时间轴:不只是按词,而是把每个字符放到时间轴上,比常见的按词对齐更细。
- 长音频一次处理:很多开源对齐工具只适合 30 秒左右的片段,长文件要切段再拼接,每段都会累积一点误差。Cue 可以整段一次对齐,官方测试中完整长录音的平均误差约 179 毫秒,所测开源工具在 283 毫秒到 6 秒以上不等;有背景噪音的英文录音平均误差约 57 毫秒。
- 速度:官方称在其生产 GPU 上对齐一小时音频大约半秒。
- 多语言和唱歌:在 29 种语言的测试集上,官方称 Cue 都比所测其他工具更准;在一组知识共享授权的多语种歌曲上,92.7% 的词落在标注位置 0.3 秒以内。
Cue 已经在 ElevenLabs 所有语音转文字请求背后运行,字幕、配音和音乐歌词时间轴也用它;想单独用的话,可以调 Forced Alignment API,上传音频和对应文字稿,返回每个字符和每个词的起止时间。官方文档写明计费与语音转文字 API 同价,不支持说话人分离,具体额度以 ElevenLabs 文档 为准。以上精度和速度数字都来自 ElevenLabs 自己的测试。
对创作者意味着什么: 做口播、访谈、播客切片的人,最常见的情况是稿子已经写好或改好,缺的只是准确的字幕时间轴。强制对齐正好解决这一步:拿定稿文字配上录音,就能得到逐字时间,再做逐字高亮字幕、卡点花字或歌词视频会省不少手动对轴的时间。不会写代码的话,可以先留意常用剪辑和字幕工具是否接入了这类能力;会调 API 的可以拿一段自己的长录音先测一下中文效果,再决定要不要放进固定流程。
信息来源:ElevenLabs 官方博客(本文为编辑整理改写)