清华、英伟达等开源实时交互视频评测 StreamEval：38 个模型受测，「听指挥」普遍是短板
清华大学、NVIDIA、CMU、UC Berkeley 等机构联合发布 StreamEval，专门评测「边生成边接收指令」的实时交互视频模型，覆盖数字人对话、虚拟人表演、世界生成、指令编辑和参考编辑五类任务，共 300 个用例、38 个模型。结果显示画质稳定不等于能按指令改，连续指令执行和状态保持是普遍短板；代码、数据和评分规则已开源。
清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS 等机构联合推出了评测基准 StreamEval，智源社区 10 月 29 日刊发了介绍文章，论文《StreamEval: Evaluating Interactive Streaming Video Generation Models》已上线 arXiv，排行榜在 streameval.ai，代码和数据放在 GitHub 与 Hugging Face。
和 VBench 这类「给一段提示词、看一段成片」的老评测不同，StreamEval 测的是实时交互：语音、文字指令、参考图会按时间轴陆续送进去，模型只能看到当前已经给出的输入，要在不中断画面的情况下及时响应，同时保住人物身份、场景和之前做过的修改。
- 五类任务：数字人对话、虚拟人表演、世界生成、文字指令编辑、参考图编辑，每类 60 个用例，时长从 15 秒到 300 秒五档。
- 四个评分维度：任务执行、状态一致性、视觉保真度、音画协调，共十项指标；五类任务分别排名，不合成一个总榜。
- 受测规模：38 个模型、49 个模型任务配置。
据介绍文章公布的结果，数字人对话和虚拟人表演两项都是生数科技的 Vidu S2-Avatar 得分最高，但它在虚拟人表演里的指令跟随只有 36.90 分，已经是同组最高；文字指令编辑里 Vidu S2-Editing 执行指令更好，JoyAI-Video-Edit 则更擅长保留原视频里不该改的部分；参考图编辑最难，最高一档的编辑成功率也只有 15 分。研究者的结论是：画面好看、人物稳定和「能按连续指令改对地方」是几种相对独立的能力。
需要说明的是，这篇介绍属于社区供稿，排名只代表该基准的测法；榜单计划每月更新，开发者也可以按公开流程自行复测。
对创作者意味着什么： 如果你在挑数字人直播、实时换装或交互式视频工具，别只看演示片的画质，更要看它在连续改要求时会不会「改错地方」或者把之前的效果弄丢。StreamEval 按任务拆开的分数可以当作选型参考，但最终还是要拿自己的素材和真实流程试一轮，尤其是需要中途换参考图、撤销修改的场景。
信息来源：智源社区 / StreamEval 论文（本文为编辑整理改写）
