蚂蚁 inclusionAI 开源 Ming-3.0 语音模型:0.5B 配音模型支持声音克隆、笑声叹气标签和川粤方言,MIT 协议可商用
蚂蚁集团旗下 inclusionAI 团队 10 月 19 日集中开源 Ming-3.0 系列五个语音模型,覆盖语音合成、音频理解和语音识别。其中面向配音的 Ming-3.0-tts-0.5B 支持短音频零样本克隆、用一句话描述设计音色、14 种笑声叹气等副语言标签,以及四川话、粤语控制;更大的 tiny 版还能按剧本生成多人对话播客。代码和权重均为 MIT 协议,可在 Hugging Face 与魔搭下载。
据 Hugging Face 上的 inclusionAI 模型页,蚂蚁集团旗下 inclusionAI 团队在 10 月 19 日把 Ming-3.0 系列语音模型集中开放:语音合成两款(tts-0.5B、tts-tiny),音频理解两款(audio-flash、audio-tiny),语音识别一款(asr-tiny),代码和权重均采用 MIT 协议,可在 Hugging Face 和魔搭社区下载。
对做内容的人来说,最值得关注的是两款合成模型。按官方模型卡的说明:
- Ming-3.0-tts-0.5B:基于 Qwen2.5-0.5B 的稠密小模型,输出 44.1kHz 音频;支持用一小段参考音频零样本克隆音色,也可以用自然语言描述「想要什么样的声音」来设计音色,或用一句指令控制语气和说话风格;内置 100 多个中文音色和 5 个英文音色;
- 副语言与细节控制:文本里可插入 14 种标签,生成呼吸、咳嗽、叹气、笑声、迟疑、惊讶等声音,另可单独调情绪、语速、音高和音量;
- 语言与方言:支持中、英、德、西、法、韩、日七种语言,以及四川话和粤语;
- Ming-3.0-tts-tiny:基于 Ling V3 的混合专家模型,总参数 7.9B、每个词约激活 1.3B,在 0.5B 的能力之外,多了按剧本和每位说话人的参考音频生成多人对话(播客)的能力;
- 成绩与局限:官方称 0.5B 版在 Artificial Analysis 的可控语音榜上位列开源模型第一,多项测试与 CosyVoice3、Qwen3-TTS 等互有胜负,这些对比均为厂商公布;模型卡也写明了短板,比如韩语准确率偏弱、文字本身不带情绪时情绪控制较难、播客音质评分还不如部分对手。
需要注意,Hugging Face 上只是权重分发,推理要配合官方 GitHub 仓库的代码;官方测试环境是 H800、H20 这类数据中心显卡,没有给出消费级显卡的显存要求。
对创作者意味着什么: 做口播、解说、有声书和播客的创作者,又多了一个可以本地部署、协议宽松的中文配音选项,尤其「笑声叹气标签 + 方言 + 一句话调语气」对做情景剧、方言内容和人物对话很实用。但它目前更适合有技术同事或云端显卡的团队上手,个人用户暂时还是在线配音工具更省事。官方也明确提醒:未经本人同意不要克隆真人声音,合成语音在可能被误认为真人录音时要标注 AI 生成,这一点在各平台的 AI 内容标识规则下同样适用。
信息来源:Hugging Face · inclusionAI 模型页(本文为编辑整理改写)