HeyGen 上线 Voice STS:自己念一遍,停顿、重音和气声都能原样带到数字人身上
北京时间 10 月 29 日凌晨,HeyGen 在官方 X 账号发布 Voice STS(语音转语音)功能:用户不再只靠输入文字让数字人朗读,而是自己把台词说一遍,系统把这段表演里的停顿、重音甚至耳语一起迁移到数字人的克隆声音上;官方称功能已上线可试用,套餐和额度规则没有在公告中说明。
数字人视频平台 HeyGen 在北京时间 10 月 29 日凌晨通过官方 X 账号发布了 HeyGen Voice STS。STS 是 speech-to-speech 的缩写,意思是「用声音生成声音」,和常见的 TTS(输入文字、合成语音)相对。
HeyGen 的说法很直接:文字转语音能做到「接近」,但接近不等于你本人会怎么说。Voice STS 的用法是用户自己把台词说一遍,系统把整段表演带到数字人身上,每一处停顿、强调和耳语都会保留下来。在评论区回复网友时,官方补充说,用了 STS 就可以跳过用文字标注语气的步骤,「直接演出来」,再由 STS 带进克隆声音里,并确认该功能「已经上线」。
几个背景和需要留意的地方:
- 和此前语音模型的关系:HeyGen 这个月已经连续更新了语音能力,10 月中旬推出能结合画面的 HeyGen Voice,10 月 21 日又推出更便宜的 Voice Turbo。前两者都是从文字出发,这次的 STS 则是从真人录音出发,补上的是「语气表演」这一环;
- 公告没说的细节:官方帖子没有说明 Voice STS 支持哪些语言、对哪些套餐开放、是否消耗积分,以及对中文语气的还原效果,实际以 HeyGen 产品页显示为准;
- 声音授权:STS 迁移的是录音里的表演,最终用的是数字人绑定的克隆声音,使用他人声音或形象时仍需取得本人授权。
对创作者意味着什么: 用数字人做口播、课程讲解或产品介绍的人,最常遇到的问题是 TTS 念得太平,想要的反问、停顿、压低声音只能靠反复改标点和语气标签去试。STS 把这件事换成了「自己录一遍参考音」:录音不需要专业设备,重要的是语气到位,剩下的交给克隆声音。比较稳妥的做法是先挑一段情绪起伏明显的台词,分别用 TTS 和 STS 各做一版对比,看看中文表现是否值得多花这一步录音时间,再决定要不要放进固定流程。
信息来源:HeyGen 官方 X 账号(本文为编辑整理改写)