NVIDIA OmniDreams：用於閉環自動駕駛模擬的實時生成世界模型

研究論文提出，隨著自動駕駛技術的進步，安全評估長尾場景成為關鍵瓶頸。NVIDIA 推出了 OmniDreams，一個基礎生成世界模型，基於 Cosmos 擴散模型進行中期和後期訓練，能實時生成動作條件視頻。該模型利用 Cosmos 的豐富視覺先驗，並在 21k 小時的駕駛場景數據上進行訓練，合成複雜現象如極端天氣和不可預測行為。OmniDreams 能夠根據過去的幀、當前模擬器狀態和即時駕駛動作進行條件生成，在閉環系統中部署，與 Alpamayo 1 政策模型和 AlpaSim 協調器結合，提供可擴展的解決方案用於訓練和評估下一代自動駕駛政策。論文還展示了初步結果，表明一個世界動作模型（WAM）在 NuRec 數據集上表現優異，超越了基於 VLA 的研究模型，同時僅使用五分之一的參數。這些結果顯示，OmniDreams 作為實時世界模型，有潛力作為政策架構的骨幹。