微软研究院开源 Code Video Model：先用代码写分镜预演，再用视频模型出成片
微软研究院 Code Video Model 团队发布训练无关的可控视频方法：由编码智能体把镜头写成 Three.js 程序并渲染低多边形代理预演，再以冻结的 MiniMax-H3 参考生视频模型结合参考图生成成片；同期开源 CodeVideoBench 评测集与 Apache-2.0 代码。
据项目主页与技术报告，微软研究院（Microsoft Research） 的 Code Video Model 团队发布了一套「先用代码做可执行预演（previs），再生成成片」的可控视频方法。核心思路是：视频扩散模型对物理与镜头往往是黑盒猜测，而电影工业会先做可编辑的预演——他们把预演做成可运行的程序。
- 流程：从文字提示出发，由编码智能体（报告中使用 GPT-6）写出 Three.js 场景程序，规定布局、物体运动、相机路径，并从方程计算动力学；渲染该程序得到低多边形代理视频（官方称通常不到一分钟）和外观参考图（可用 GPT-Image-2 生成，也可自己提供）；再用冻结的 MiniMax-H3 参考生视频（R2V）检查点，在代理视频与参考图条件下生成最终片段；
- early-step conditioning：团队发现直接条件生成容易把代理视频的「扁平合成感」抄进成片，于是采用无需训练的日程——只在采样早期用代理视频锁定结构，之后去掉该条件，让外观更多来自参考图；
- 评测：同步发布 CodeVideoBench（Hugging Face），含 22 个案例、覆盖游戏、场景编辑、子弹时间、物理 grounding、3D/4D 重建等；报告称搭配 MiniMax-H3 在三位评审模型下总分约 85.2 / 82.1 / 85.8，高于所学基线 VACE 的 74.3 / 73.1 / 80.6；
- 获取：官方仓库 CodeVideoModel 代码为 Apache-2.0，示例数据 CC BY 4.0；本地运行需 Ubuntu 22.04、兼容 CUDA 12.6 的 NVIDIA GPU、下载 MiniMax-H3 权重，以及通过 OpenRouter 调用 GPT-6 / GPT-Image-2 的密钥。目前没有托管式网页一键出片。
详情见 项目主页、技术报告 PDF 与 GitHub 仓库。
对创作者意味着什么： 这更像给「技术向创作者 / 开发者」的控制杆，而不是大众一键工具：镜头位置、运动、物理可以改几行代码再预览，再决定是否烧算力出高清片，比纯提示词「抽卡」更接近分镜预演。适合关心产品广告运镜、建筑漫游、机器人轨迹、子弹时间这类强结构镜头的人跟进。短期内还要自己搭环境、下权重；真正落地到剪辑软件一键用，还要看后续是否有产品化封装。成片质量与商用条款以 MiniMax-H3 与各 API 实际许可为准。
信息来源：Microsoft Research / 项目主页（本文为编辑整理改写）
