前 DeepMind 团队创业公司 Elorian 发布首个模型 Glimpse:推理时会回看视频、放大画面,主打「看懂」动作与时序
美国初创公司 Elorian 10 月 16 日以研究预览形式发布首个模型 Glimpse,特点是推理过程中能反复回到图像和视频本身:裁切放大局部、按更密的帧率重看片段、写代码测量比较。官方称它在科学图表推理和短视频描述等测试上可比肩更大的前沿模型,目前开放 API,对话界面需排队申请。
据 Elorian 官方博客和 TechCrunch 的报道,这家由前 Google DeepMind 研究员Andrew M. Dai联合创办、此前已拿到 5500 万美元种子轮融资的公司,在 10 月 16 日发布了第一个模型 Glimpse:
- 定位是「视觉思考」模型:多数多模态模型看一眼图片就转成文字再推理,Glimpse 则在推理中途反复回到原始画面——裁切放大某个区域、从视频里挑出关键帧按更高密度重看,或者跑代码去测量、比较,官方把这套机制称为「视觉草稿区」;
- 会用工具、会分工:模型经过端到端训练,可以调用写代码、处理图像、看视频等工具,还能拆出子代理协同完成同一个问题;
- 成绩与成本:Elorian 自测在科学图表推理和短视频描述上超过了 GPT-6 Astra,其他视觉推理任务上互有胜负;模型体量明显更小,基于开源权重底座后训练;不过在 Scale AI 联合推出的直觉视觉推理基准上,它目前的分数仍低于排名第一的模型;
- 怎么用:现阶段是研究预览,提供 API(Together AI 等平台已上架),对话界面需排队申请;官方明确提到的应用方向包括机器人、科研分析,以及帮创作者制作和剪辑视频、帮内容平台检索整理视频素材。
对创作者意味着什么: 目前 AI 剪辑工具最常见的短板是「看不懂画面里发生了什么」,比如找不准动作发生的那一秒、数不清镜头里的人和物。像 Glimpse 这类能回看、放大、对时间轴做细致分析的模型,未来更可能被集成到自动打点、精彩片段挑选、视频字幕和素材库检索里。它现在还只是 API 形式的研究预览,普通创作者不必急着上手,但做视频工具或批量整理素材的团队可以先用自己的片段测一测它的描述和定位准确度,再决定是否接入。
信息来源:Elorian 官方博客(本文为编辑整理改写)