美國(guó)加利福尼亞州圣何塞—— GTC ——太平洋時(shí)間2025年3月18日——NVIDIA今日宣布推出全新NVIDIA Cosmos™世界基礎(chǔ)模型(WFM)的重大更新，該模型引入了開放式、可完全定制的物理AI開發(fā)推理模型，讓開發(fā)者以前所未有的方式控制世界生成。
NVIDIA還推出了兩款由NVIDIA Omniverse™和Cosmos平臺(tái)提供支持的新藍(lán)圖，為開發(fā)者提供用于機(jī)器人和自動(dòng)駕駛汽車后訓(xùn)練的大規(guī)�？煽睾铣蓴�(shù)據(jù)生成引擎。
1X、Agility Robotics、Figure AI、Foretellix、Skild AI和Uber是首批采用Cosmos的企業(yè)，可更快、更大規(guī)模地為物理AI生成更豐富的訓(xùn)練數(shù)據(jù)。
“正如大語(yǔ)言模型改變了生成式和代理式AI，Cosmos世界基礎(chǔ)模型是物理AI的一項(xiàng)重大突破，”NVIDIA創(chuàng)始人兼CEO黃仁勛表示。“Cosmos為物理AI帶來(lái)了一個(gè)開放式、可完全定制的推理模型，為機(jī)器人和物理工業(yè)領(lǐng)域的突破性發(fā)展帶來(lái)了機(jī)遇�！�
用于合成數(shù)據(jù)生成的Cosmos® Transfer
Cosmos Transfer WFM能夠吸收結(jié)構(gòu)化視頻輸入，如分割圖、深度圖、激光雷達(dá)掃描、姿態(tài)估計(jì)圖和軌跡圖等，以生成可控、逼真的視頻輸出。
Cosmos Transfer可簡(jiǎn)化感知AI訓(xùn)練，將Omniverse中創(chuàng)建的3D仿真或真值轉(zhuǎn)換為逼真視頻，用于大規(guī)�？煽�合成數(shù)據(jù)生成。
Agility Robotics將是最早采用Cosmos Transfer和Omniverse進(jìn)行大規(guī)模合成數(shù)據(jù)生成，用以訓(xùn)練其機(jī)器人模型的公司之一。
Agility Robotics首席技術(shù)官Pras Velagapudi表示：“Cosmos為我們提供了一個(gè)在真實(shí)世界可采集的數(shù)據(jù)之外，擴(kuò)展逼真訓(xùn)練數(shù)據(jù)的機(jī)會(huì)。我們很期待看到使用新平臺(tái)解鎖的新性能，同時(shí)充分利用我們已有的基于物理學(xué)的仿真數(shù)據(jù)�！�
用于自動(dòng)駕駛汽車仿真的NVIDIA® Omniverse Blueprint借助Cosmos Transfer放大基于物理傳感器數(shù)據(jù)的變化。借助該藍(lán)圖，F(xiàn)oretellix可以通過(guò)為不同駕駛數(shù)據(jù)集改變天氣和光照等條件來(lái)豐富行為場(chǎng)景。Parallel Domain也正在使用該藍(lán)圖將類似的變更應(yīng)用于他們的傳感器仿真。
用于合成操作運(yùn)動(dòng)生成的NVIDIA GR00T Blueprint結(jié)合了Omniverse和Cosmos Transfer，可大規(guī)模生成多樣化數(shù)據(jù)集，利用OpenUSD驅(qū)動(dòng)的仿真，將數(shù)據(jù)采集和增強(qiáng)時(shí)間從數(shù)天縮短到數(shù)小時(shí)。
Cosmos Predict用于智能世界生成
一月在CES上宣布的Cosmos Predict WFM能夠通過(guò)文本、圖像和視頻等多模態(tài)輸入生成虛擬世界狀態(tài)。新的Cosmos Predict模型將支持多幀生成，在給定開始和結(jié)束輸入圖像的情況下，預(yù)測(cè)中間行為或運(yùn)動(dòng)軌跡。這些模型專為后訓(xùn)練而打造，可使用NVIDIA開放的物理AI數(shù)據(jù)集進(jìn)行定制。
借助NVIDIA Grace Blackwell® NVL72系統(tǒng)及其龐大的NVIDIA NVLink™域的推理計(jì)算能力，開發(fā)者可以實(shí)現(xiàn)實(shí)時(shí)世界生成。
1X正在使用Cosmos Predict和Cosmos Transfer來(lái)訓(xùn)練其新型人形機(jī)器人NEO Gamma。機(jī)器人大腦開發(fā)商Skild AI正在利用Cosmos Transfer增強(qiáng)其機(jī)器人的合成數(shù)據(jù)集。此外，Nexar和Oxa正在使用Cosmos Predict來(lái)升級(jí)其自動(dòng)駕駛系統(tǒng)。
用于物理AI的多模態(tài)推理
Cosmos Reason是一個(gè)開放式、可完全定制的WFM，具有時(shí)空感知能力，它使用思維鏈推理來(lái)理解視頻數(shù)據(jù)，并能夠預(yù)測(cè)交互結(jié)果，如一個(gè)人走進(jìn)人行道或一個(gè)盒子從架子上掉下來(lái)。
開發(fā)者可以使用Cosmos Reason來(lái)提升物理AI數(shù)據(jù)標(biāo)注和管理，增強(qiáng)現(xiàn)有世界基礎(chǔ)模型或創(chuàng)建新的視覺(jué)語(yǔ)言動(dòng)作模型。他們還可以對(duì)其進(jìn)行后訓(xùn)練，構(gòu)建高級(jí)規(guī)劃器，以指導(dǎo)物理AI如何完成所需操作。
加速物理AI的數(shù)據(jù)管理和后訓(xùn)練
基于其下游任務(wù)，開發(fā)者可以在NVIDIA DGX™ Cloud上使用原生PyTorch腳本或NVIDIA NeMo™框架對(duì)Cosmos WFM進(jìn)行后訓(xùn)練。
Cosmos開發(fā)者還可以使用DGX Cloud上的NVIDIA NeMo Curator來(lái)加速數(shù)據(jù)處理和管理。Linker Vision和Milestone Systems正將其用于管理海量視頻數(shù)據(jù)，訓(xùn)練用于視覺(jué)智能體的大視覺(jué)語(yǔ)言模型，這些智能體基于NVIDIA AI Blueprint進(jìn)行視頻搜索和總結(jié)。Virtual Incision正在探索將其部署在未來(lái)的手術(shù)機(jī)器人中，而Uber和Waabi正在推動(dòng)自動(dòng)駕駛汽車的開發(fā)。
推動(dòng)負(fù)責(zé)任的AI和內(nèi)容透明度
根據(jù)NVIDIA一貫的可信AI原則，NVIDIA在所有Cosmos WFM中都采用開放式護(hù)欄。此外，NVIDIA正在與Google DeepMind合作，將SynthID集成到水印中，幫助識(shí)別Cosmos WFM NVIDIA NIM™微服務(wù)的AI生成結(jié)果。
