Luel 推出多人语音分离模型:一段混录对话,按人拆成独立音轨
语音数据公司 Luel 于北京时间 10 月 22 日凌晨发布 Luel Multi-Speaker Separation,可把一段多人对话录音拆成每人一条独立音轨(最高 48 kHz),另附笑声咳嗽等杂音轨和「谁在何时说话」的时间线。支持 2-4 人、单段最长 90 分钟,处理速度约等于录音时长,目前为封闭测试,需申请 API 密钥。
语音数据公司 Luel 在北京时间 10 月 22 日凌晨通过官方 X 账号和官方博客发布了 Luel Multi-Speaker Separation(多人语音分离)。它做的事情很直接:输入一段所有人声音混在一起的对话录音,输出每个人各自一条音轨。
根据官方博客和模型说明页,要点如下:
- 输出内容:每人一条与原录音等长、时间对齐的音轨(别人说话时为静音),另有一条「其他声音」轨收纳笑声、咳嗽等,外加记录谁在何时说话的时间线文件;
- 规格:支持 WAV、FLAC、MP3 输入,最高 48 kHz,按原采样率返回;不用手动设置人数,适用 2-4 人、单段最长 90 分钟;
- 速度:大约「录多久处理多久」,1 小时音频约需 1 小时,不支持实时;
- 官方测试:在训练集之外的 36 通真实通话(共 121 人,每通 3-4 人)上,官方称每个人都分到了自己的音轨、没有出现串轨,这是官方自测数据;
- 局限:官方坦言首版在轮流说话时效果最好,抢话、同一房间共用麦克风和多语言仍在改进,测试以英语为主;部分长时间双人通话会多出一条背景声或碎片音轨,建议逐轨试听后再用;
- 获取方式:目前为封闭测试,需向官方申请 API 密钥,上传文件 7 天后删除;官方未公布价格。
对创作者意味着什么: 做访谈播客、对谈类视频和直播切片的人,常见麻烦是多人共用一条录音,后期很难单独调某个人的音量、降噪或剪掉口误,字幕识别也容易把人认错。如果一条混录能拆成每人一轨,就可以像多机位录音一样分别处理,还能只给其中一位嘉宾做翻译配音。不过它目前只开放 API 封闭测试,主要面向开发者,中文效果官方没有给出数据;有需要的团队可以先申请试用,拿一期自己的中文节目实测串轨和抢话情况,再决定要不要接进剪辑流程。
信息来源:Luel 官方博客(本文为编辑整理改写)