Adobe 研究院与布朗大学发布 OmniXRef 论文：用参考视频「抄」运镜和动作、用参考图换主体，一次编辑可叠加多个参考
Adobe Research 与布朗大学在 arXiv 发布论文 OmniXRef，提出一个统一的多参考视频编辑框架：对一段已有视频，可以同时给文字指令、参考图和参考视频，分别控制运镜、动作、主体内容、画风和特效五类属性。论文在自建评测集上称其参考遵循和原片保留优于专用模型以及 Seedance 2.5、MiniMax H3 等商用系统，其中运镜轨迹误差约为 Seedance 2.5 的五分之一；但画质仍略逊于商用模型。目前只公开了论文和项目主页，代码和模型尚未发布。
据 OmniXRef 论文（arXiv:2610.22744） 和 项目主页，Adobe Research 与布朗大学的研究团队提出了一个叫 OmniXRef 的视频编辑框架，主攻「改已有的视频」而不是从零生成。论文于 10 月 15 日提交到 arXiv。以下内容均来自论文本身，属于研究成果，还不是可以直接使用的产品。
它想解决的问题和主要做法：
- 一次编辑，多种参考混用：创作者的想法往往很难用一句话说清，比如「镜头像这条参考片那样推进」「人物换成这张图里的样子」「再把背景里的人去掉」。OmniXRef 允许对同一段原视频同时输入文字、图片和视频三类参考，数量也可以是多个，模型把每个参考里需要的那部分属性迁移到原片上；
- 五类可控属性：论文把可迁移的属性分为运镜（镜头轨迹、景别和节奏）、动作（人物或物体的动作序列）、内容（主体外观）、画风和视觉特效五类，并为此做了专门的评测集 OmniXRef-Bench；
- 技术路线：用一个多模态大模型（论文中为 Qwen3-VL-8B）先理解原视频和各个参考，再交给视频扩散模型生成编辑结果；针对「参考数量一多就不稳」的问题，团队改进了位置编码，让模型在推理时能接受比训练时更多的参考；训练数据则主要靠合成流水线批量构造。
论文给出的对比结果（均在团队自建的评测集上，部分分数由视觉语言模型打分）：
- 在运镜迁移上，OmniXRef 的镜头旋转误差为 0.874、平移误差为 3.961，而 Seedance 2.5 分别为 4.373 和 22.445，误差约为后者的五分之一；
- 在参考遵循和原片保留两项上，论文称整体优于各类专用开源模型，以及 Seedance 2.5、MiniMax H3 等商用系统；
- 论文也承认短板：画面质量与商用系统仍有差距，作者认为可能和底层模型规模有关；另外同一类属性内部还拆不开，比如想只借参考视频的身体动作，人物的面部表情往往也会被一起带过来。
截至发稿，项目主页上的代码按钮仍是隐藏状态，论文也没有给出开源时间或是否会进入 Adobe 自家产品的说明。
对创作者意味着什么： 现在做 AI 视频，最常见的痛点不是「生成不出来」，而是「改不准」：想要某条爆款片子的运镜节奏，或者只想换掉主体、保留其余画面，往往只能反复重新生成。OmniXRef 的思路是把「参考片」变成可以拆开用的素材：运镜借这一条、人物借那张图、画风再借另一条，这正是短视频翻拍、产品广告换品、同一脚本多版本这类工作最需要的能力。不过它目前只是论文，评测也是团队自己设计的，离可用还有距离。更现实的做法是关注可灵、即梦等工具里已经上线的多参考素材功能，同时留意 Adobe 是否会把这类能力放进 Premiere 或 Firefly。需要提醒的是，借鉴别人作品的运镜和结构没问题，但直接拿他人的人物形象或完整画面做参考，仍要注意肖像和版权边界。
信息来源：arXiv 论文（Adobe Research × 布朗大学）（本文为编辑整理改写）
