Google DeepMind 在周二以研究预览的形式发布了其最新的世界模型 Genie 4。該模型生成了迄今為止最逼真、最具互動性的世界,允許用戶在模擬過程中輸入提示來改變場景。它還能生成與模擬世界相匹配的實時音頻,包括音樂、環境噪音和互動對話。
在 Genie 发布的幾個月前,AI 電視視頻創業公司 Runway 刚剛發布了其第二款世界模型 GWM Worlds 2——一個可遊戲、能動態響應用戶輸入並包含音頻生成的模型。同時,世界模型行業正開始整合。李飛飛的 World Labs 正被 AMD 收購,亞馬遜正在談判收購 Decart,而 Rivian 則剛剛收購了 Third Dimension,以便將模擬能力引入內部用於自動駕駛測試。
Genie 4是Google在競爭激烈的賽道中保持領先的最新舉措。
Google 在大約一年多前以研究預覽的形式發布了前代產品 Genie 3。除了比前代更加逼真並具備音頻功能外,Genie 4還允許自由形式的編輯,例如實時改變天氣或攝像機角度,或添加新人物或物體。它可以將一致的場景維持長達兩分鐘,是前代上限的两倍,并提供更好的物理效果和更接近人類的角色。
Google 的 AI 模型 Gemini 也与 Genie 更緊密地整合,擔任「導演」的角色,負責規劃步驟並檢查畫面,而 Genie 負責生成視覺內容。在與 Gemini Robotics 相關的一項研究實驗中,Gemini 4 Argon 模型將任務分解為步驟,由 Genie 4 實時模擬。該實驗展示了一種可能的方式:在真實世界發生之前,先在模擬中測試機器人場景。
「未來我們將越來越多地看到這種混合世界模型,也就是 Gemini 負責編寫代碼和文本,Genie 則實時接收並模擬不同抽象層次的現實,」 Tejas Kulkarni 研究總監在簡報會上表示。
與其他世界模型一樣,其宣傳的商業用例包括遊戲、互動學習和機器人。互動學習的一個假設性例子是:進入一幅歷史場景的畫作中,並與畫中人物討論所描繪的事件。
但「可信測試者」(首批獲得 Google 尖端產品訪問權限的人)正指向一個可能的新用途:電影原型製作。
「在創意領域中,實時性在保持心流狀態方面非常有價值,」Google DeepMind工程師Diego Rivas在新聞簡報會上表示。「例如,在構思階段、分鏡階段——任何你需要快速構思的時候。」
Google 也提供 Veo,這是它的 AI 影像生成模型,可以根據文本、圖像或影像提示製作出帶有內置同步音頻的高清片段。
Rivas 补充說,用戶最終可能會依賴於 Gemini Omni,將這些原型轉化為創意資產。不過他表示,這些能力仍有待進一步發展。
在整場簡報會中,Rivas 強調 Genie 4 仍處於早期階段,目前尚不清楚端到端的使用體驗會是怎樣的。團隊也承認 Genie 4 仍存在一些問題:模擬運行時間越長,細節和物體的顯示可能會出現偏差;他們也還沒有完全弄清楚如何確保音頻的準確性以及世界內文字的清晰可讀性。
Genie 目前以研究预览的形式向可信测试者开放。在接下来的几周内,该模型将向 Google AI Ultra 的订阅用户开放,用于 Project Genie,并会向 Gemini API 和 Google AI Studio 的早期访问合作伙伴开放。











