Mistral 发布 Voxtral 3 语音模型:转写支持 50 多种语言,配音支持中文预设音色
10 月 20 日,法国 AI 公司 Mistral 发布 Voxtral 3 语音模型家族,包括三款语音转文字模型、一款文字转语音模型和一套实时语音智能体 SDK。转写支持 50 多种语言(含中文),能区分说话人、按给定关键词提高专有名词识别率;配音模型支持 35 种以上语言,预设音色覆盖普通话。目前通过 Mistral API 和 Studio 在线试用提供,官方公告未提到开放权重。
据 Mistral AI 官方博客的发布公告和模型文档,Mistral 于 10 月 20 日推出了 Voxtral 3,一套把"听、想、说"串起来的语音模型和开发工具。
几个要点:
- 转写(语音转文字):旗舰款 Voxtral Small Transcribe 3 支持 50 多种语言,中文在官方测试的语言列表里;能标出"谁在什么时候说话"(说话人分离),还可以事先给一组关键词和人名,提高专有名词的识别准确率。官方测试中它的多语种错误率低于 Whisper large-v3 等模型。另有 4B 参数的 Mini 版和一个实时版;
- 配音(文字转语音):Voxtral Mini TTS 3 支持 35 种以上语言、50 多种方言,会根据上下文调整情绪、语速和重音;预设音色覆盖 18 种语言,其中包括普通话,官方示例里还有北京话、四川话片段;
- 声音定制:有基础的声音克隆,另有面向专业场景的 Pro Voice,官方称用约 30 分钟录音就能还原一个人的音色和说话风格,并跨语言使用;
- 语音智能体 SDK:基于 LiveKit,把识别、推理、调用工具和说话放进同一个实时流程,主要面向客服、电话助理等场景;
- 怎么用:现在可以通过 Mistral API 调用,也能在 Mistral Studio 的在线体验页试转写、配音和声音克隆;企业可以私有化部署。官方公告里没有提到开放模型权重,按量计费,具体以官方价格页为准。
对创作者意味着什么: 对做视频的人来说,最实用的是转写:采访、播客、多人对谈的素材可以直接出带说话人标记的文字稿,再把节目名、嘉宾名、产品名作为关键词喂进去,能少改很多错别字,做字幕和剪辑粗稿都更快。配音方面它多了一个支持普通话的选择,适合做多语种版本的口播或旁白。声音克隆只用你自己或已获得授权的声音,发布时按平台要求标注 AI 合成。
信息来源:Mistral AI 官方博客(本文为编辑整理改写)