Kandinsky S2V 1.0 开源：一张照片 + 一段语音生成 25fps 口播视频，2B Lite / 21B Pro 两版，MIT 许可
Kandinsky 团队发布开源语音驱动数字人视频模型 Kandinsky S2V 1.0，含 Lite（2B）和 Pro（21B）两版：输入一张参考图、一段语音和可选文字提示，生成唇形、表情、姿态和手势跟随语音的 25fps 长视频；人工评测中 Pro 平均不逊于或优于最强开源基线和两款商业模型，蒸馏版 Pro 只需 16 步、端到端提速 5.4 倍，代码、权重和 diffusers 集成按 MIT 许可发布。
做过 Kandinsky 5.0 / 6.0 视频模型的 Kandinsky 团队公布了新的开源模型家族 Kandinsky S2V 1.0（S2V 即 speech-to-video，语音生成视频），专门做「照片开口说话」这类数字人口播。技术报告已在 arXiv 公开（10 月 13 日提交、10 月 15 日公布），要点如下：
- 两种规模：Lite 约 2B 参数、Pro 约 21B 参数，都基于 Kandinsky 5.0 Video 基础模型继续训练；
- 输入与输出：一张参考图 + 一段语音 + 一句文字提示，生成 25fps 的长视频，唇形、表情、头部姿态和手势都跟着语音走；
- 怎么做到稳：文字和音频条件统一交给一个 Qwen2.5-Omni 模型理解，再加一套「参考感知的三尺度视觉记忆」，让参考照片里的人脸在长视频里一直不跑偏；训练时还对脸部区域加了按面积自适应的损失；
- 训练数据：约 117 万段单人说话片段，用说话人检测筛选，配英文和俄文描述；
- 效果：和最强的开源基线及两款商业闭源模型做并排人工评测，Pro 平均表现相当或更好，唇形同步上更受偏好；在五项常用指标的平均排名里，Lite 和 Pro 都在前列；
- 提速版：Lite 和 Pro 都有 π-Flow 蒸馏版本，蒸馏后的 Pro 只需 16 步采样、不用 CFG，端到端比原版快 5.4 倍，指标基本持平甚至更好；
- 开源：报告称代码、模型权重和 diffusers 集成都按 MIT 许可发布，允许商用。截至发稿，团队在 Hugging Face 上可见的 S2V 仓库还以小型测试管线为主，完整权重以官方仓库实际上架为准。
对创作者意味着什么： 做知识口播、课程讲解、多语种配音版本的创作者，又多了一个可以自己部署、许可宽松的数字人选项：用自己的照片加自己录的音（或已授权的配音），就能批量出讲解片段，不必每条都真人出镜。实际用之前要有心理准备：21B 的 Pro 版需要较强的显卡，普通电脑更适合先试 2B Lite 或等第三方平台接入；训练描述以英、俄语为主，中文口型效果要自己实测。最重要的是只用本人或已获书面授权的肖像和声音，不要拿明星、熟人照片生成「开口说话」的视频；发布时按平台要求标注「AI 生成」，避免被判定为不实或仿冒内容。
信息来源：arXiv（本文为编辑整理改写）
