省极客AI导航 提交工具

Google DeepMind 发布 Genie 4:可实时操控的世界模型,首次原生生成环境音和角色对话

2026-10-28 · #Google DeepMind#Genie 4#世界模型#交互视频#AI 音频#分镜预演

Google DeepMind 在 10 月 27 日发布新一代世界模型 Genie 4,可以用键盘移动镜头、用文字实时改天气或加入人物,并同步生成环境音、音乐和可互动的角色对话;目前只开放给受邀测试者,之后会先到 Google AI Ultra 订阅用户的 Project Genie 和部分 Gemini API / AI Studio 早期合作方。

Google DeepMind 在 10 月 27 日发布了新一代世界模型 Genie 4。和普通视频模型「生成一段固定片段」不同,世界模型生成的是一个可以边走边看、实时响应操作的虚拟场景:用户用键盘控制移动和镜头,同时可以随时输入文字改变正在发生的事。

根据官方博客,这一代的主要变化有几点:

  • 实时用文字改场景:可以在模拟过程中让天气变化、移动镜头、加入新的人物或物体,Gemini 会把指令调整成适合当前场景的样子,并在两次输入之间维持画面连贯;
  • 人物和物理更真实:官方称最大的进步在于人物的动作和对环境的反应,也能模拟碰撞、空气动力等物理现象;
  • 原生音频:这是 DeepMind 第一个能实时生成声音的世界模型,场景会自带风声、海浪等环境音和音乐,角色还能根据你的操作或场景事件进行对话;
  • 底层能力:模型建立在 Gemini 家族之上,由 Gemini Omni 负责让画面贴近真实世界的外观和行为。

据 TechCrunch 报道,Genie 4 能保持约两分钟的连贯场景,是上一代的两倍;团队也承认,模拟时间越长细节和物体越容易漂移,音频准确性和画面里文字的清晰度也还没完全解决。

上线节奏上,Genie 4 目前是面向受邀测试者的研究预览,之后会先开放给 Google AI Ultra 订阅用户(通过 Project Genie),以及 Gemini API 和 Google AI Studio 的部分早期合作方,官方已开放候补名单。开发者价格暂未公布。

对创作者意味着什么: 现阶段大多数人还用不上,但方向值得关注:如果能用一句话搭出一个可走动、带声音的场景,再实时调整天气、机位和人物,它就很适合做分镜预演、找镜头角度、给剧情短片或游戏解说做概念画面。两分钟的连贯上限和细节漂移意味着它暂时不能直接替代成片拍摄,更像是前期构思工具。等开放后,可以先拿自己正在策划的一个场景去试,看人物动作和对话能否撑起一段完整的戏。

信息来源:Google DeepMind 官方博客(本文为编辑整理改写)

推荐工具