中科院自动化所开源实时数字人模型 TalkLikeYou：一张照片加一段音频，还能模仿特定人的说话口型习惯
中科院自动化所等团队开源了实时说话人头像生成模型 TalkLikeYou，代码采用 MIT 协议，权重放在 Hugging Face。它用一张人像照片（或一段视频）加一段音频生成口播画面，特色是能模仿目标人物的说话口型习惯，既可以选预设习惯，也可以给一段至少 100 帧的参考视频。官方配套的实时演示在 RTX 3090 上可达每秒 30 帧以上，显存占用低于 4GB。
据 TalkLikeYou 的 GitHub 仓库 和配套的 arXiv 论文，中国科学院自动化研究所联合中国科学院大学、澳门科技大学等机构的研究团队开源了 TalkLikeYou，论文题目是《Talk Like You：在实时说话人头像生成中模仿你的说话方式》。推理代码以 MIT 协议发布，模型权重放在 Hugging Face。
它和常见数字人方案的区别：
- 模仿说话习惯：很多音频驱动的数字人口型都差不多，TalkLikeYou 在一个低维的嘴部动作空间里单独建模「这个人习惯怎么张嘴」，可以选用预设的习惯编号，也可以提供一段至少 100 帧（按建议的 25 帧/秒约 4 秒）的参考视频来模仿；
- 一步生成、跑得快：动作生成只需一步采样，官方另外开源的实时演示提供浏览器界面，支持麦克风实时驱动、视频重新配音和对话式数字人，在 RTX 3090 上生成速度超过每秒 30 帧，显存占用不到 4GB；
- 两种输入：输入照片时，头部姿态由音频驱动生成；输入视频时，保留原视频的头部动作，只替换嘴形，适合给已有视频换配音；
- 使用门槛：官方推荐环境是 Linux、CUDA 12.1，单独跑推理脚本建议显卡显存不少于 12GB；模型权重的使用条款需另看仓库里的第三方说明。
对创作者意味着什么： 口播数字人和多语种配音是短视频里需求很大的场景，TalkLikeYou 的价值在于口型更像本人、而且能在一张游戏显卡上实时跑，自己部署就不用按分钟付费。不过它目前是研究项目，需要一定的命令行和显卡环境基础，普通创作者更现实的做法是等社区把它接进现成的工具再用。务必只用本人或已获授权的肖像和声音，发布时按平台规定标注 AI 生成内容。
信息来源：TalkLikeYou GitHub 仓库及 arXiv 论文（本文为编辑整理改写）
