谷歌发布 Genie 4 世界模型:新增音频、更逼真场景与实时操控
TechCrunch
4小时前
Ai 焦点
谷歌 DeepMind 周二以研究预览形式发布最新世界模型 Genie 4。该模型可生成更具照片真实感、可交互的虚拟世界,支持用户在模拟过程中实时输入提示词修改场景,并生成与场景匹配的实时音频。谷歌表示,Genie 4 目前已向“可信测试者”开放,未来几周将扩展至 Google AI Ultra 订阅用户以及 Gemini API 和 Google AI Studio 的早期接入合作伙伴。
有帮助
No.帮助

谷歌 DeepMind 周二以研究预览形式发布了其最新世界模型 Genie 4。该模型可生成迄今最具照片真实感、互动性最强的虚拟世界,并允许用户在模拟过程中输入提示词来改变场景。该模型还可生成与模拟世界相匹配的实时音频,包括音乐、环境噪声和交互式对话。

Genie 4 的发布,距离 AI 视频初创公司 Runway 推出第二代世界模型 GWM Worlds 2 仅过去几个月。后者是一种可游玩的模型,能够对用户输入作出动态响应,并包含音频生成功能。与此同时,世界模型行业也开始整合。李飞飞创办的 World Labs 正被 AMD 收购,亚马逊正就收购 Decart 进行谈判,而 Rivian 刚刚收购 Third Dimension,以将仿真能力纳入内部,用于自动驾驶测试。

Genie 4 是谷歌在这一拥挤赛道中保持领先地位的最新举措。

谷歌在一年多前以研究预览形式发布了前代产品 Genie 3。除了画面真实感大幅提升并加入音频外,Genie 4 还支持自由形式编辑,例如实时改变天气或镜头角度,或添加新的人物和物体。它可将场景一致性维持最长两分钟,是前代上限的两倍,并提供更好的物理效果和更像真人的角色。

谷歌的 AI 模型 Gemini 也与 Genie 4 实现了更紧密的整合:Gemini 充当“导演”,负责规划步骤并检查画面,而 Genie 则负责生成视觉内容。在一项与 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型将任务拆解为多个步骤,再由 Genie 4 实时进行模拟。该实验展示了一种可能路径:在现实世界发生之前,先在模拟环境中测试机器人场景。

谷歌研究总监 Tejas Kulkarni 在一场简报会上表示:“未来我们会越来越多地看到这类混合式世界模型:Gemini 负责编写代码和文本,Genie 则实时接收这些内容,并以不同抽象层级对现实进行模拟。”

与其他世界模型一样,其被主推的商业应用场景包括游戏、互动学习和机器人。一个关于互动学习的推测性例子是:用户输入一幅描绘历史场景的画作,然后与画中人物就所呈现的事件展开对话。

但“可信测试者”——也就是最先获得谷歌前沿产品使用权的人——指出了另一种潜在用途:电影原型制作。

谷歌 DeepMind 工程师 Diego Rivas 在新闻简报会上表示:“实时性在那些需要保持创意流动状态的领域最有价值。比如在构思阶段、分镜阶段——任何你需要快速生成创意的时候。”

谷歌还提供 Veo,这是一款 AI 视频生成模型,可根据文本、图像或视频提示生成带有内置同步音频的高清片段。该工具在电影制作人中越来越受欢迎。

Rivas 补充说,未来用户最终可能会依赖 Gemini Omni——一种可根据图像、音频和文本生成视频的多模态大语言模型——将这些原型转化为创意资产。不过他说,这些能力距离落地仍有一段时间。

在整场简报会中,Rivas 强调,Genie 4 仍处于非常早期阶段,目前尚不清楚最终端到端产品体验会是什么样。团队也承认,Genie 4 仍存在不足:模拟运行时间越长,细节和物体越可能漂移;他们也尚未完全解决如何确保音频准确,以及如何让场景中的文字清晰可读。

Genie 4 目前已作为研究预览向可信测试者开放。未来几周,该模型将通过 Project Genie 向 Google AI Ultra 订阅用户推出。Project Genie 是谷歌一款可根据文本或图像提示生成交互式世界的 AI 工具。该模型也将向 Gemini API 和 Google AI Studio 的早期接入合作伙伴开放。

打赏
$0
点赞
0
收藏
0
浏览量 15
币界网提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
Ripple 与 BNY 扩大数字托管合作,新增 XRP 和 RLUSD 支持
Ripple 与 BNY 扩大数字托管合作,BNY 的数字资产托管平台将支持 XRP 和 Ripple 的稳定币 RLUSD,双方还计划推进 RLUSD 直接铸造与赎回,以及基于 XRP Ledger 的代币化贸易融资和投资产品。
The Cryptonomist
·2026-10-28 05:30:53
0
Charter宣布A系列累积可赎回优先股季度现金股息
Charter Communications宣布,其董事会已宣布向A系列累积可赎回优先股持有人派发常规季度现金股息,每股0.43750001美元,将于2027年1月15日以现金支付,登记日为2026年12月31日收盘时。
PR Newswire
·2026-10-28 05:21:03
5
Polymarket因美国用户访问离岸平台问题再遭CFTC调查
据知情人士称,美国商品期货交易委员会正在调查预测市场平台 Polymarket 是否违反了其在2022年达成的一项和解协议。该协议原本旨在禁止美国用户访问其离岸平台。此次调查是该机构今年早些时候对 Polymarket 展开更广泛调查的一部分,重点关注其过往是否违反和解条款,而非当前运营情况。
CNBC
·2026-10-28 05:21:01
13
Robinhood第三季度营收不及预期 加密收入回升、预测市场下注增长
Robinhood公布第三季度营收14.2亿美元,略低于华尔街预期;净利润为4.76亿美元。公司预测市场业务收入升至1.73亿美元,加密交易收入升至1.2亿美元,但仍较去年同期下降55%。
Decrypt
·2026-10-28 05:11:26
4
Stacks 创始人称量子担忧已在限制比特币增长
Stacks 创始人 Muneeb Ali 表示,量子计算担忧已在限制比特币增长,机构投资者可能会在开发者拿出可信的量子抗性升级路线图前推迟大额买入。他还称,若到 2028 年前仍无实质进展,比特币可能进入更高风险阶段。
Cointelegraph
·2026-10-28 05:11:24
13
查看更多