Fish Audio 发布 Drama 3 语音模型并开放权重,能听「导演指令」演多角色对话
10 月 13 日(美国时间),Fish Audio 发布新一代语音合成模型 Drama 3,主打用自然语言「指导表演」、多角色场景配音和局部改词。模型已上线 fish.audio 网页、App 和 API,同时在 Hugging Face 开放权重,年收入 50 万美元以下的个人和团队可免费商用。
据 Fish Audio 官方博客 10 月 13 日的公告,这家语音 AI 公司发布了 Drama 3,官方称它是自家「情绪表现力最强的语音合成模型」,面向有声书、广播剧、游戏和动画对白、短视频配音等场景。
- 能做什么:按技术报告的说法,Drama 3 可以用几段参考音频克隆声音,按自然语言描述来调整语气和情绪;一轮生成不满意,可以像给配音演员「讲戏」一样再给一句意见让它重来;还能一次生成多角色对话场景,并支持在已有音频里只改某个词或某一句(填补式编辑),以及长文本和流式合成;
- 模型规模:底座是 350 亿参数的混合专家(MoE)结构,每个 token 只激活约 30 亿参数。技术报告称,单张 H200 上的生成速度比上一代 S2 还快;
- 在哪用:即日起可在 fish.audio 网页、Fish Audio iOS / 安卓 App 和 API 里使用,官方称 11 月 12 日前 API 打两折、新开的创作者套餐打五折;
- 开放权重与授权:权重放在 Hugging Face(fishaudio/drama-3),代码在 GitHub 的 fish-speech 仓库。它用的是新的 Fish Audio 社区许可证:研究和非商业使用免费,本人及关联方年收入低于 50 万美元可免费商用;超过这个规模,或者想拿它对外提供配音、声音克隆服务,需要另找官方授权。许可证还明确禁止未经本人同意克隆真人声音;
- 本地部署门槛:按官方安装文档,本地跑 Drama 3 至少需要 48GB 显存(FP8)的 NVIDIA 显卡,不支持 CPU 和苹果芯片,普通创作者更现实的用法还是网页版或 API。
详情见 Fish Audio 官方博客 与 GitHub 仓库 fish-speech。
对创作者意味着什么: 做有声书、广播剧、动画短剧和解说视频的人,配音环节又多了一个能「讲戏」的选项:不用反复改提示词碰运气,可以直接告诉它「这句说得再压抑一点」,也能只重录一个读错的词,省掉整段重来的时间。多角色场景一次出,对做对话类短剧尤其友好。不过要记住两条:一是别拿它克隆明星或身边人的声音,许可证和平台规则都不允许;二是商用前看清授权条款,个人和小团队免费,规模做大了要提前算好授权成本。
信息来源:Fish Audio 官方博客 / GitHub(本文为编辑整理改写)