谷歌 DeepMind 周二以研究预览形式发布了其最新世界模型 Genie 4。该模型可生成迄今最具照片真实感、互动性最强的虚拟世界,并允许用户在模拟过程中输入提示词来改变场景。该模型还可生成与模拟世界相匹配的实时音频,包括音乐、环境噪声和交互式对话。
Genie 4 的发布,距离 AI 视频初创公司 Runway 推出第二代世界模型 GWM Worlds 2 仅过去几个月。后者是一种可游玩的模型,能够对用户输入作出动态响应,并包含音频生成功能。与此同时,世界模型行业也开始整合。李飞飞创办的 World Labs 正被 AMD 收购,亚马逊正就收购 Decart 进行谈判,而 Rivian 刚刚收购 Third Dimension,以将仿真能力纳入内部,用于自动驾驶测试。
Genie 4 是谷歌在这一拥挤赛道中保持领先地位的最新举措。
谷歌在一年多前以研究预览形式发布了前代产品 Genie 3。除了画面真实感大幅提升并加入音频外,Genie 4 还支持自由形式编辑,例如实时改变天气或镜头角度,或添加新的人物和物体。它可将场景一致性维持最长两分钟,是前代上限的两倍,并提供更好的物理效果和更像真人的角色。
谷歌的 AI 模型 Gemini 也与 Genie 4 实现了更紧密的整合:Gemini 充当“导演”,负责规划步骤并检查画面,而 Genie 则负责生成视觉内容。在一项与 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型将任务拆解为多个步骤,再由 Genie 4 实时进行模拟。该实验展示了一种可能路径:在现实世界发生之前,先在模拟环境中测试机器人场景。
谷歌研究总监 Tejas Kulkarni 在一场简报会上表示:“未来我们会越来越多地看到这类混合式世界模型:Gemini 负责编写代码和文本,Genie 则实时接收这些内容,并以不同抽象层级对现实进行模拟。”
与其他世界模型一样,其被主推的商业应用场景包括游戏、互动学习和机器人。一个关于互动学习的推测性例子是:用户输入一幅描绘历史场景的画作,然后与画中人物就所呈现的事件展开对话。
但“可信测试者”——也就是最先获得谷歌前沿产品使用权的人——指出了另一种潜在用途:电影原型制作。
谷歌 DeepMind 工程师 Diego Rivas 在新闻简报会上表示:“实时性在那些需要保持创意流动状态的领域最有价值。比如在构思阶段、分镜阶段——任何你需要快速生成创意的时候。”
谷歌还提供 Veo,这是一款 AI 视频生成模型,可根据文本、图像或视频提示生成带有内置同步音频的高清片段。该工具在电影制作人中越来越受欢迎。
Rivas 补充说,未来用户最终可能会依赖 Gemini Omni——一种可根据图像、音频和文本生成视频的多模态大语言模型——将这些原型转化为创意资产。不过他说,这些能力距离落地仍有一段时间。
在整场简报会中,Rivas 强调,Genie 4 仍处于非常早期阶段,目前尚不清楚最终端到端产品体验会是什么样。团队也承认,Genie 4 仍存在不足:模拟运行时间越长,细节和物体越可能漂移;他们也尚未完全解决如何确保音频准确,以及如何让场景中的文字清晰可读。
Genie 4 目前已作为研究预览向可信测试者开放。未来几周,该模型将通过 Project Genie 向 Google AI Ultra 订阅用户推出。Project Genie 是谷歌一款可根据文本或图像提示生成交互式世界的 AI 工具。该模型也将向 Gemini API 和 Google AI Studio 的早期接入合作伙伴开放。












