NVIDIA 在 SIGGRAPH 大會上宣布擴展兩個支持推理功能的系列模型：NVIDIA Nemotron 和 NVIDIA Cosmos，各行業(yè)的領(lǐng)導(dǎo)者都在使用這些模型，通過 AI 智能體和人形機器人編隊來提高生產(chǎn)力。

CrowdStrike、Uber、Magna、NetApp 和 Zoom 等一些企業(yè)都在使用這些系列模型。

全新 NVIDIA Nemotron Nano 2 和 Llama Nemotron Super 1.5 模型在同等規(guī)模模型中的科學(xué)推理、數(shù)學(xué)、編碼、工具調(diào)用、指令遵循和對話方面展現(xiàn)出優(yōu)異的精度表現(xiàn)。借助這些新模型，AI 智能體能夠提高思考深度和工作效率，從而探索更廣泛的選項、加速研究并在設(shè)定時限內(nèi)提供更明智的結(jié)果。

模型能被視為 AI 智能體的“大腦”，它提供了核心智能。但要使這類“大腦”在企業(yè)中發(fā)揮作用，必須將其嵌入到能理解特定工作流以及行業(yè)和業(yè)務(wù)術(shù)語，并能夠安全運行的智能體中。NVIDIA 可通過領(lǐng)先的庫和 AI 藍(lán)圖幫助企業(yè)大規(guī)模部署、定制和管理 AI 智能體，從而彌合這一差距。

Cosmos Reason 是用于物理 AI 應(yīng)用的新型推理視覺語言模型 (VLM)，擅長了解現(xiàn)實世界的運作機制，使用結(jié)構(gòu)化推理來理解物理學(xué)、客體永久性和時空對齊等概念。

Cosmos Reason 經(jīng)過量身定制，可作為機器人視覺語言動作 (VLA) 模型的推理主干，或為機器人和智能汽車訓(xùn)練數(shù)據(jù)評論和注釋提供支持，并賦予運行時視覺 AI 智能體在工廠或城市等環(huán)境中對時空理解和物理操作的推理能力。

Nemotron：更大限度地提高代理式企業(yè)級 AI 的精度和效率

隨著企業(yè)開發(fā) AI 智能體來處理復(fù)雜的多步驟任務(wù)，能夠通過高效生成 token 來提供超高推理準(zhǔn)確性的模型將可實現(xiàn)大規(guī)模智能且自主的決策制定。

NVIDIA Nemotron 包含一系列先進(jìn)的開放式推理模型，可使用領(lǐng)先的模型、NVIDIA 精選的開放數(shù)據(jù)集和先進(jìn) AI 技術(shù)，幫助 AI 智能體提高準(zhǔn)確性和效率。

最新 Nemotron 模型在以下三個方面實現(xiàn)了出色的效率：全新混合模型架構(gòu)、緊湊型量化模型以及可配置的思考預(yù)算，可幫助開發(fā)者控制 token 生成，從而將推理成本降低 60%。這種組合便于模型更深入地進(jìn)行推理并更快響應(yīng)，無需投入更多時間或算力。這意味著能夠以更低成本取得更好的結(jié)果。

與其他同等規(guī)模的領(lǐng)先模型相比，Nemotron Nano 2 將 token 生成提速 6 倍。

Llama Nemotron Super 1.5 在同類產(chǎn)品中實現(xiàn)了領(lǐng)先性能和極高的推理準(zhǔn)確性，有助于 AI 智能體更高效地進(jìn)行推理，做出更明智決策并獨立處理復(fù)雜任務(wù)。它現(xiàn)以 NVFP4（即 4 位浮點）格式提供，與 NVIDIA H100 GPU 相比，在 NVIDIA B200 GPU 上可將吞吐量提高 6 倍。

上圖顯示，在同一時段內(nèi)且計算預(yù)算相同的情況下，Nemotron 模型的推理實現(xiàn)了極高的準(zhǔn)確性，并實現(xiàn)了單位成本下的極佳準(zhǔn)確率。

在發(fā)布這兩個全新 Nemotron 模型的同時，NVIDIA 還宣布推出首個開放 VLM 訓(xùn)練數(shù)據(jù)集 Llama Nemotron VLM 數(shù)據(jù)集 v1，該數(shù)據(jù)集包含 300 萬個光學(xué)字符識別、視覺 QA 和字幕數(shù)據(jù)樣本，可支持之前發(fā)布的 Llama 3.1 Nemotron Nano VL 8B 模型。

除推理模型精度以外，智能體還依賴檢索增強生成 (RAG) 技術(shù)，跨不同來源從聯(lián)網(wǎng)數(shù)據(jù)中獲取最新、最相關(guān)的信息，以便做出明智決策。最近發(fā)布的 Llama 3.2 NeMo Retriever 嵌入模型在三個視覺文檔檢索排行榜 (ViDoRe V1、ViDoRe V2 和 MTEB VisualDocumentRetrieval) 中均排名前列，可幫助提高智能體系統(tǒng)的準(zhǔn)確性。

借助這些推理和信息檢索模型，使用 AI-Q NVIDIA Blueprint 構(gòu)建的深度研究智能體目前在 DeepResearch Bench 上的開放可移植式智能體排行榜中排名首位。

NVIDIA NeMo 和 NVIDIA NIM 可從開發(fā)、部署到智能體系統(tǒng)的監(jiān)管和優(yōu)化，支持整個 AI 智能體生命周期。

Cosmos Reason：物理 AI 領(lǐng)域的突破

VLM 標(biāo)志著計算機視覺和機器人領(lǐng)域的突破，可助力機器識別物體和模式。但是，非推理的 VLM 缺乏理解現(xiàn)實世界并與之交互的能力，意味著它們既無法處理不確定性或新奇的情景，也無法執(zhí)行復(fù)雜的多步驟任務(wù)。

NVIDIA Cosmos Reason 是一種專為物理 AI 和機器人而打造的全新開放式可定制 70 億參數(shù)推理 VLM。借助 Cosmos Reason，機器人和視覺 AI 智能體能夠像人類一樣進(jìn)行推理，利用先驗知識、物理理解和常識來了解物理世界并采取行動。

Cosmos Reason 可為機器人和物理 AI 應(yīng)用提供高級功能，例如訓(xùn)練數(shù)據(jù)評論和字幕支持、機器人決策制定和視頻分析 AI 智能體。

它可以幫助自動處理并標(biāo)注大型多樣化的訓(xùn)練數(shù)據(jù)集，加速高精度 AI 模型的開發(fā)。它也可以充當(dāng)用于機器人規(guī)劃的精密推理引擎，從而將復(fù)雜指令解析為即使在新環(huán)境也可供 VLA 模型執(zhí)行的步驟。

它還可為 NVIDIA Metropolis 平臺上基于視頻搜索和總結(jié) (VSS) NVIDIA Blueprint 構(gòu)建的視頻分析 AI 智能體提供支持，從大量存儲或?qū)崟r的視頻數(shù)據(jù)中獲取寶貴見解。這些視覺感知和交互式 AI 智能體可以通過查明異常，來幫助工廠、倉庫、零售商店、機場、交叉路口等場所簡化操作。

NVIDIA 的機器人研究團隊將 Cosmos Reason 用于數(shù)據(jù)篩選和整理，并將其用作 VLA 模型（例如后續(xù)版本的 NVIDIA Isaac GR00T NX）背后的 “System 2” 推理 VLM。

現(xiàn)已推出：適用于 AI 智能體和機器人的 NVIDIA 推理模型無處不在

多元化企業(yè)和咨詢行業(yè)領(lǐng)導(dǎo)者都在采用 NVIDIA 的最新推理模型。從網(wǎng)絡(luò)安全到電信，各行業(yè)的領(lǐng)導(dǎo)者都開始使用 Nemotron 來構(gòu)建企業(yè)級 AI 智能體。

Zoom 計劃將 Nemotron 推理模型與 Zoom AI Companion 相結(jié)合，幫助做出決策并管理多步驟任務(wù)，以便 Zoom Meetings、Zoom Chat 和 Zoom 文檔用戶執(zhí)行操作。

CrowdStrike 正在測試 Nemotron 模型，以便其 Charlotte AI 智能體在 CrowdStrike Falcon 平臺上寫入請求。

Amdocs 正在其 amAIz 套件中使用 NVIDIA Nemotron 模型，以支持 AI 智能體處理護理、銷售、網(wǎng)絡(luò)和客戶支持等領(lǐng)域的復(fù)雜、多步驟自動化操作。

鑒于 Nemotron Nano 2 的高吞吐量，安永正采用該模型來支持大型企業(yè)組織中的代理式 AI，用于處理稅務(wù)、風(fēng)險管理和金融用例。

NetApp 正在測試 Nemotron 推理模型，以便 AI 智能體能夠搜索和分析業(yè)務(wù)數(shù)據(jù)。

DataRobot 正在與 Nemotron 模型合作，用于其 Agent Workforce Platform，以實現(xiàn)端到端的智能體生命周期管理。

Tabnine 正使用 Nemotron 模型，為開發(fā)者提供編碼任務(wù)建議和實現(xiàn)自動化編碼任務(wù)。

Automation Anywhere、CrewAI 和 Dataiku 等代理式 AI 軟件開發(fā)商都在其平臺中集成了 Nemotron 模型。

交通運輸、安全和 AI 智能領(lǐng)域的領(lǐng)先企業(yè)正使用 Cosmos Reason 來加強輔助駕駛、視頻分析、道路和工作場所的安全。

Uber 正在探索如何使用 Cosmos Reason 來分析智能汽車的行為。此外，Uber 還在對 Cosmos Reason 進(jìn)行后訓(xùn)練，以總結(jié)視覺數(shù)據(jù)并分析行人穿行高速公路等場景，進(jìn)而執(zhí)行質(zhì)量分析并指導(dǎo)輔助駕駛行為。

Cosmos Reason 也可以作為智能汽車的“大腦”。它讓機器人能夠解讀環(huán)境，在接收到復(fù)雜指令時將其分解為任務(wù)，并使用常識去執(zhí)行任務(wù)，即便在陌生環(huán)境中也是如此。

Centific 正在測試 Cosmos Reason，以增強其 AI 賦能的視頻智能平臺。運用 VLM，該平臺能夠?qū)?fù)雜的視頻數(shù)據(jù)處理為可供行動參考的見解，幫助減少誤報并提高決策制定的效率。

VAST 正采用 NVIDIA Cosmos Reason 及其 AI 操作系統(tǒng)來大規(guī)模處理海量視頻流，推動實時城市智能發(fā)展。借助 VSS Blueprint，VAST 可構(gòu)建能夠識別突發(fā)事件并觸發(fā)響應(yīng)的智能體，將視頻流和元數(shù)據(jù)轉(zhuǎn)化為可操作的主動式公共安全工具。

Ambient.ai 正使用 Cosmos Reason 的時間物理感知推理，自動檢測丟失的個人防護設(shè)備并監(jiān)測危險狀況，幫助改善建筑、制造、物流和其他工業(yè)環(huán)境中的環(huán)境健康與安全。

Magna 正在將 Cosmos Reason 集成至其 City Delivery Platform（一個高度自主、低成本即時配送解決方案），幫助車輛更快地適應(yīng)新城市。該模型為車輛的長期軌跡規(guī)劃增添了對世界的理解能力。

這些模型預(yù)計將以 NVIDIA NIM 的形式提供，以便安全可靠地部署到任意 NVIDIA 加速基礎(chǔ)設(shè)施上，更大限度地提高隱私性和控制力。這些模型計劃不久后通過 Amazon Bedrock 和 Amazon SageMaker AI (用于 Nemotron 模型)，以及 Azure AI Foundry、Oracle Data Science Platform 和 Google Vertex AI 發(fā)布。

觀看 NVIDIA 在 SIGGRAPH 的特別演講，了解圖形和仿真創(chuàng)新如何共同推動工業(yè)數(shù)字化，并參與 NVIDIA 在大會上的活動，大會自今日起持續(xù)至 8 月 14 日星期四。

查閱相關(guān)軟件產(chǎn)品信息說明。

分享到

zhupb

相關(guān)推薦