VAST 开源实时生成渲染模型 EdenLive:把粗糙的游戏画面实时「重绘」成精细视频
做 3D 生成工具 Tripo 的 VAST 团队开源了实时生成渲染模型 EdenLive,提供 5B 和 14B 两种规模的权重与实时推理代码。它的思路是让游戏引擎或程序负责「世界里发生了什么」,模型只负责「画面长什么样」:输入一段粗糙的参考视频、一张目标首帧和一句提示词,就能实时输出风格化的精细视频,官方称 5B 版本在单张 RTX 5090 上可达约 24 帧每秒。
据 EdenLive GitHub 仓库 和 Hugging Face 模型页,VAST 团队(3D 生成工具 Tripo 的开发方)把实时生成渲染模型 EdenLive 的权重和代码公开了,仓库在 10 月 18 日完成了最近一轮文档和配置更新。
它和常见的文生视频模型不太一样,核心是「分工」:
- 程序管逻辑,模型管画面:游戏引擎、3D 场景或一段录屏负责角色怎么动、世界状态怎么变,输出一段画质粗糙的参考视频;EdenLive 再结合一张目标首帧和一句文字提示,把它实时渲染成细节丰富或风格化的画面;
- 两种规模、两种推理方式:分别基于 Wan2.2 的 5B 和 Wan2.1 的 14B 做后训练,每种都有双向(离线、质量优先)和少步分块(实时)两个版本,输出 480P/720P,官方演示可以连续生成分钟级的视频;
- 实时性能:官方给出的数据是,5B 模型配合 LightX2V 推理框架在单张 RTX 5090 上处理 1280×704 画面约 24.7 帧每秒,够得上 24 帧实时播放;
- 配套工具:仓库里附带一个能把一句文字描述变成粗糙可玩小游戏的技能,以及一个前端工作台,可以体验从提示词到「生成游戏再实时重绘」的完整流程;
- 门槛和许可:全部权重约 210GB,官方验证环境是 80GB 显存的 NVIDIA 显卡;主体模型和代码按 Apache 2.0 发布,但工作台里用来生成首帧的 FLUX 组件只允许非商业使用,正式商用前需要按组件逐一核对许可。
对创作者意味着什么: 对做游戏实况、AI 短片和互动内容的创作者来说,EdenLive 提供了一种新做法:先用简单的 3D 场景、白模甚至现成游戏把镜头和动作「排练」出来,再交给模型统一换成想要的画风,动作和运镜由自己掌控,不用反复抽卡。不过它目前更像研究和开发者工具,硬件要求高、部署步骤多,普通创作者短期内更现实的是关注后续是否出现基于它的在线服务;想自己尝试的小团队,也建议先看完仓库里的许可说明再用于商业项目。
信息来源:EdenLive GitHub 仓库(本文为编辑整理改写)