這些庫和模型由全新 NVIDIA RTX PRO 服務(wù)器和 NVIDIA DGX Cloud 提供支持，可幫助開發(fā)者在任何地方開發(fā)物理精確的數(shù)字孿生，在仿真中捕捉和重建現(xiàn)實(shí)世界，生成用于訓(xùn)練物理 AI 模型的合成數(shù)據(jù)，并構(gòu)建理解物理世界的 AI 智能體。

NVIDIA Omniverse 和仿真技術(shù)副總裁 Rev Lebaredian 表示：“計(jì)算機(jī)圖形與 AI 的融合，從根本上改變著機(jī)器人。通過將 AI 推理與物理精準(zhǔn)的可擴(kuò)展仿真相結(jié)合，我們正幫助開發(fā)者打造未來的機(jī)器人和智能汽車，這將為各行業(yè)帶來價值數(shù)萬億美元的改變?！?/p>

全新 NVIDIA Omniverse 庫助力世界構(gòu)建應(yīng)用

全新 NVIDIA Omniverse 軟件開發(fā)套件 (SDK) 和庫現(xiàn)已推出，可用于構(gòu)建和部署工業(yè) AI 和機(jī)器人開發(fā)仿真應(yīng)用。

● 全新 Omniverse SDK 推出了 MuJoCo (MJCF) 與通用場景描述 (OpenUSD) 之間的數(shù)據(jù)互操作性，幫助超過 250,000 名 MJCF 機(jī)器人學(xué)習(xí)開發(fā)者無縫地模擬各平臺的機(jī)器人。

● 全新 Omniverse NuRec 庫和 AI 模型引入了 Omniverse RTX 光線追蹤 3D Gaussian Splatting（3DGS）技術(shù)，這種渲染技術(shù)可幫助開發(fā)者利用傳感器數(shù)據(jù)，在 3D 中截取、重建和模擬現(xiàn)實(shí)世界。

● NVIDIA Isaac Sim 5.0 和 NVIDIA Isaac Lab 2.2 開源機(jī)器人仿真和學(xué)習(xí)框架現(xiàn)已在 GitHub 上提供。Isaac Sim 現(xiàn)在包括 NuRec 神經(jīng)渲染和基于 OpenUSD 的全新機(jī)器人及傳感器模式，幫助機(jī)器人開發(fā)者縮小仿真與現(xiàn)實(shí)之間的差距

Omniverse NuRec 渲染現(xiàn)已集成到超過 15 萬名開發(fā)者使用的領(lǐng)先開源模擬器 CARLA 中。 智能汽車 (AV) 工具鏈領(lǐng)先者 Foretellix 正在集成 NuRec, NVIDIA Omniverse Sensor RTX? 和 Cosmos Transfer，以增強(qiáng)其可擴(kuò)展的合成數(shù)據(jù)生成能力，提供物理精準(zhǔn)的場景。 Voxel51 的視覺和多模態(tài) AI 數(shù)據(jù)引擎 FiftyOne 支持 NuRec，幫助簡化重建的數(shù)據(jù)準(zhǔn)備工作。 FiftyOne 的客戶包括福特和保時捷等。

Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 和 Skild AI 正在采用 Omniverse 庫、Isaac Sim 和 Isaac Lab，加速其 AI 機(jī)器人開發(fā)。 Amazon Devices & Services 正在使用它們來支持新的制造解決方案。

Cosmos 推動機(jī)器人世界生成進(jìn)步

Cosmos WFM 下載量超過 200 萬次，可幫助開發(fā)者通過文本、圖像和視頻提示大規(guī)模生成各種用于訓(xùn)練機(jī)器人的數(shù)據(jù)。

NVIDIA 在 SIGGRAPH 大會上宣布的新模型在合成數(shù)據(jù)生成速度、模型精度、語言支持和控制方面取得了重大進(jìn)步：

● Cosmos Transfer-2 即將發(fā)布，它簡化了提示并能從地面實(shí)況 3D 仿真場景或空間控制輸入（如深度、分割、邊緣和高清地圖）中，快速生成逼真的合成數(shù)據(jù)。

● Cosmos Transfer 的精簡版本將 70 個步驟的蒸餾過程簡化為一個步驟，開發(fā)者能夠以前所未有的速度在 NVIDIA RTX PRO 服務(wù)器上運(yùn)行模型。

Lightwheel、Moon Surgical 和 Skild AI 正在利用 Cosmos Transfer 大規(guī)模模擬各種條件，加速物理 AI 訓(xùn)練。

Cosmos Reason 突破對世界的理解

自 OpenAI 的 CLIP 模型推出以來，視覺語言模型 (VLM) 改變了物體和模式識別等計(jì)算機(jī)視覺任務(wù)。但是，它們尚未能夠解決多步驟任務(wù)，也無法處理模糊或新穎的體驗(yàn)。

NVIDIA Cosmos Reason 是一款面向物理 AI 和機(jī)器人開發(fā)的全新開源、可定制的 70 億參數(shù)推理 VLM，可讓機(jī)器人和視覺 AI 智能體像人類一樣推理，利用先驗(yàn)知識、物理理解和常識，理解現(xiàn)實(shí)世界并付諸行動。

Cosmos Reason 可用于機(jī)器人開發(fā)和物理 AI 應(yīng)用，包括：

● 數(shù)據(jù)管理與注釋，幫助開發(fā)者自動對海量、多樣化的訓(xùn)練數(shù)據(jù)集進(jìn)行高質(zhì)量管理與注釋。
● 機(jī)器人規(guī)劃和推理，在機(jī)器人視覺語言行為 (VLA) 模型中，充當(dāng)有意識、有條理決策的大腦。Cosmos Reason 讓機(jī)器人能夠解讀環(huán)境，并在收到復(fù)雜指令時，將其分解為任務(wù)，并運(yùn)用常識執(zhí)行這些任務(wù)，即使是在不熟悉的環(huán)境中。
● 視頻分析 AI 智能體基于可用于視頻搜索和總結(jié)的 NVIDIA Blueprint 構(gòu)建，能夠從海量視頻數(shù)據(jù)中提取有價值的洞察并進(jìn)行根本原因分析。

NVIDIA 的機(jī)器人和 NVIDIA DRIVE? 團(tuán)隊(duì)正在使用 Cosmos Reason 進(jìn)行數(shù)據(jù)管理和篩選、注釋和 VLA 后訓(xùn)練。Uber 正使用它為輔助駕駛訓(xùn)練數(shù)據(jù)添加注釋和字幕。

Magna 正在其城市配送平臺（City Delivery platform）中使用 Cosmos Reason 進(jìn)行開發(fā)。該平臺是一種完全自主、低成本的即時配送解決方案，旨在幫助車輛更快地適應(yīng)新城市。Cosmos Reason 為車輛的長期軌跡規(guī)劃器增加了對世界的理解能力。VAST Data、Milestone Systems 和 Linker Vision 正在采用 Cosmos Reason 實(shí)現(xiàn)城市和工業(yè)環(huán)境的自動化交通監(jiān)控，提高安全性，并提升視覺檢查能力。

全新 NVIDIA AI 基礎(chǔ)設(shè)施為任何地方的機(jī)器人開發(fā)工作負(fù)載提供支持
為幫助開發(fā)者充分利用這些先進(jìn)技術(shù)和軟件庫，NVIDIA 宣布推出專為極高要求工作負(fù)載而設(shè)計(jì)的 AI 基礎(chǔ)設(shè)施。

● NVIDIA RTX PRO Blackwell 服務(wù)器為訓(xùn)練、合成數(shù)據(jù)生成、機(jī)器人學(xué)習(xí)和仿真等所有機(jī)器人開發(fā)工作負(fù)載提供統(tǒng)一架構(gòu)。

● NVIDIA DGX Cloud 現(xiàn)已在 Microsoft Azure Marketplace 上提供，為 Omniverse 開發(fā)者提供一個完全托管的平臺，簡化從云端大規(guī)模流式傳輸基于 OpenUSD 和 NVIDIA RTX? 的應(yīng)用，從而最大限度地減少基礎(chǔ)設(shè)施編排和管理。Accenture 和 Hexagon 是首批采用該平臺的行業(yè)領(lǐng)先者。

加速開發(fā)者生態(tài)系統(tǒng)

為了幫助機(jī)器人開發(fā)者和物理 AI 開發(fā)者推動 3D 和仿真技術(shù)的采用，NVIDIA 還宣布：

● OpenUSD 課程和認(rèn)證：滿足對通用場景描述專業(yè)知識的需求，由 OpenUSD 聯(lián)盟成員 Adobe、Amazon Robotics、Ansys（Synopsys 旗下）、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS 和 Trimble 以及 Hexagon 等行業(yè)領(lǐng)先者的支持。

● 與 Lightwheel 開源協(xié)作，將機(jī)器人策略訓(xùn)練和評估框架集成到 NVIDIA Isaac Lab 中，具備并行強(qiáng)化學(xué)習(xí)訓(xùn)練功能，以及機(jī)器人操作和運(yùn)動的基準(zhǔn)測試和仿真就緒資產(chǎn)。

zhupb