腾讯微信视觉团队开源 WeVisCut:9B 模型把口播稿剪成数分钟解说视频
腾讯微信视觉团队与西安电子科技大学开源 WeVisCut,一个基于 Qwen3.5-9B 的剪辑智能体,能把科普文章或口播稿自动做成数分钟的解说视频:拆分镜、找素材、配音、套动画模板、自检返工,并提供可继续手改的时间线工作台。代码 Apache 2.0,权重已上 Hugging Face,本地约需 24GB 显存。
据 WeVisCut 论文(arXiv) 和 腾讯在 GitHub 的开源仓库,腾讯微信视觉团队联合西安电子科技大学发布了 WeVisCut,并把 9B 模型权重放到了 Hugging Face。AI Weekly 在 11 月 1 日的报道让这个项目进入了更多人视野。
它不是「一句话生成画面」的视频大模型,而是一个会用工具的剪辑智能体:
- 输入:一篇知识类文章或已经写好的口播稿,外加目标时长和画幅比例。
- 流程:模型每一步读取当前剪辑进度,从 12 个工具里挑一个来用,依次完成分段、分镜规划、检索画面素材、合成配音、套用动画模板、挑背景音乐、合成时间线和渲染;发现某个镜头时长不对、素材不配时,会只返工出问题的镜头,而不是整片重做。
- 工作台:自带一个可编辑的 Studio 时间线,支持暂停/继续、手动或对话式修改、单镜头重新渲染和版本回滚,成片后仍可以人工接手调整。
训练数据来自 B 站上约 3750 条科技、财经、自然科学、人文类解说视频,团队把成片「倒推」成可执行的剪辑步骤,得到 13 万多条训练样本。论文在团队自建的 100 个任务测试集上给出的综合分是 90.5,略高于 Claude Opus 5 的 89.9,而生成的 token 量约为后者的 1/33;需要注意这套测试集和指标都是作者自己设计的,尚无第三方复现。
部署方面,官方说明需要 Python 3.11 以上和约 24GB 显存的 NVIDIA 显卡;成片质量还取决于你接入的素材检索、TTS 配音和渲染服务,模型本身不保证内容准确,发布前需要人工审核。
对创作者意味着什么: 做知识科普、行业解说这类「稿子先行」视频的创作者,最耗时的往往是按句子找画面、对齐配音和反复调时间线。WeVisCut 把这一整段流程交给一个可本地部署的开源模型,而且保留了人工改片的入口,适合有显卡、愿意折腾的个人或小团队拿来做初剪。它目前更像研究项目:效果依赖素材库和模板库,门槛也不低,普通用户可以先关注后续是否有更易用的封装或在线体验。
信息来源:arXiv / Tencent GitHub(本文为编辑整理改写)