Simulon 上线「现实感知渲染」:用手机在真实场景里摆放虚拟角色,自己演一遍,角色会跟着你的动作和台词反应
手机端 VFX 应用 Simulon 在北京时间 10 月 29 日凌晨上线 Reality-Aware Rendering:用户先用手机把 3D 神经资产放进真实场景,再对着镜头把戏演一遍,停止录制后系统读取这段素材里的动作、说话内容和环境,重新渲染出虚拟角色与真人互动的画面。功能已在 iOS App Store 上线,创始人称可以免费试用。
手机端视觉特效应用 Simulon 的创始人 Divesh Naidoo 在北京时间 10 月 29 日凌晨发帖介绍了新功能 Reality-Aware Rendering(现实感知渲染),随后 Simulon 官方账号宣布功能正式上线。
它的用法和常见的「写提示词生成视频」不同,更像在现场拍特效镜头:
- 先摆放:用手机把 3D 神经资产(比如一条小龙、一头猛犸象)放到真实环境里;
- 再表演:拿着手机按平时拍视频的方式把这场戏演一遍,可以伸手、递东西、说台词;
- 后渲染:停止录制后,Simulon 会读取这段素材里人做了什么、说了什么、所处的空间是什么样,重新渲染整段画面,让虚拟角色对人的动作和声音做出反应。
官方配发了一支短片,称是「一个下午」拍完的。创始人补充说整支短片「没有写一句提示词」,只用了实拍素材、3D 神经资产和这项渲染,并放出了实拍画面和最终效果的对比。在回复网友时他表示,光线较暗的环境下效果也还可以。创始人在帖子里说现在可以在 App Store 免费试用,至于免费额度、付费档位和安卓版本,公告没有具体说明,以应用内显示为准。
对创作者意味着什么: 想在真实场景里加一个会互动的虚拟角色,以前要么学 3D 跟踪合成,要么接受 AI 生成画面和实拍对不上。Simulon 这类工具把流程变成「摆好、演一遍、等渲染」,适合做探店、萌宠、剧情反转类的轻特效短视频。上手时建议先挑光线稳定、背景简单的场景,动作幅度别太大,多拍几条比较效果;用到他人形象或知名 IP 角色时,仍要注意授权问题。
信息来源:Simulon 官方 X 账号(本文为编辑整理改写)