iZotope 发布 Photon:本地 GPU 跑的 AI 分轨与人声清理,可把多人对话拆成独立音轨
音频软件厂商 iZotope 与 Boris FX 联合推出 Photon(由 CrumplePop SoundApp 更名升级而来),提供 12 个在本地显卡上运行的 AI 模型,可把成品音视频拆成人声、音乐、音效等分轨,最多把 6 个说话人分到各自音轨,并针对室内、室外、风噪、交通噪声做对白清理。
音频软件厂商 iZotope 在 11 月 3 日的官方博客中发布了 Photon,这是它和视频特效公司 Boris FX 的首个联合研发产品。按 Boris FX 的公告,Photon 其实是原 CrumplePop SoundApp 的更名升级版,老用户的项目和模型可以直接迁移。
要点:
- 全部本地处理:内置 12 个自训练模型,跑在用户自己的显卡上,文件不用上传,官方强调没有用量上限、不用排队。处理从播放头位置开始,先听一段效果再决定是否整段导出。
- 成品也能拆分轨:直接拖入音频或视频文件,可按音乐四轨(人声、鼓、贝斯、其他)、人声与伴奏两轨、鼓组五轨拆分;「Cinema 4 Stems」能把视频声音拆成对白、音乐、音效和其他四部分。
- 多人对话分离:Voice Separator 可以把同一支话筒录下的对话拆成最多 6 个说话人的独立音轨,另外单独分出环境音和背景声,适合抢话的播客、一机多人的采访。
- 对白清理:Voice Restore 以及室内、室外、交通、风噪等场景模型,可以去噪、去混响、拉平音量、改善话筒音色,处理完可导出 WAV/FLAC/MP3,或直接写回原视频文件。
- 使用方式:独立应用之外,也能作为 ARA2 插件在 Pro Tools、Cubase、REAPER 等软件里用;属于付费软件,现有 CrumplePop、Boris FX Suite 等订阅用户可免费获取,具体以官网为准。
对创作者意味着什么: 做播客、访谈、口播和二创剪辑的人,最头疼的往往是「素材只有一条混好的音轨」。Photon 把拆人声、分说话人、去噪这几件事放进一个本地工具里,不用把素材传到云端,对在意素材隐私或需要批量处理长录音的团队更友好。不过它需要一块像样的显卡,效果也取决于原始录音质量;另外用分轨功能把别人的歌曲拆出伴奏、人声再发布,依然涉及版权,商用前要确认授权。
信息来源:iZotope 官方博客(本文为编辑整理改写)