隨著面向物理 AI 的 NVIDIA Jetson Thor 模組的推出,全世界的機(jī)器人即將迎來智能化的大幅提升。這款全新的機(jī)器人計(jì)算機(jī)將成為科研與工業(yè)領(lǐng)域機(jī)器人系統(tǒng)的“大腦”。
機(jī)器人需要依賴豐富的傳感器數(shù)據(jù)與低延遲 AI 處理能力。運(yùn)行實(shí)時(shí)機(jī)器人應(yīng)用,需強(qiáng)大的 AI 計(jì)算能力和內(nèi)存,以處理多個(gè)傳感器的并發(fā)數(shù)據(jù)流?,F(xiàn)已正式發(fā)售的 Jetson Thor,相比上一代產(chǎn)品 NVIDIA Jetson Orin,AI 計(jì)算性能提高至 7.5 倍,CPU 性能提升至 3.1 倍,內(nèi)存容量提升至 2 倍,能夠在邊緣端實(shí)現(xiàn)實(shí)時(shí)處理需求。
這一性能飛躍,將助力機(jī)器人開發(fā)者在邊緣端處理高速傳感器數(shù)據(jù)并執(zhí)行視覺推理。而過去,這類工作流因速度過慢,無法在動(dòng)態(tài)的真實(shí)環(huán)境中運(yùn)行。這為包括人形機(jī)器人在內(nèi)的多模態(tài) AI 應(yīng)用開辟了全新可能。
領(lǐng)先的人形機(jī)器人企業(yè) Agility Robotics,已經(jīng)在其第五代機(jī)器人 Digit 使用了 NVIDIA Jetson,并計(jì)劃將 Jetson Thor 作為第六代 Digit 計(jì)算核心。這一變化將進(jìn)一步提升 Digit 的實(shí)時(shí)感知與決策能力,支持日漸復(fù)雜的 AI 能力及行為需求。Digit 已經(jīng)實(shí)現(xiàn)商用,可在倉庫與制造環(huán)境中執(zhí)行堆疊、裝載及碼垛等物流任務(wù)。
Agility Robotics 首席執(zhí)行官 Peggy Johnson 表示: “Jetson Thor 提供的強(qiáng)大邊緣處理能力將把 Digit 提升到一個(gè)新的水平——增強(qiáng)其實(shí)時(shí)響應(yīng)能力,其功能也將拓展至更廣泛、更復(fù)雜的任務(wù)領(lǐng)域。借助 Jetson Thor,我們能將最新的物理 AI 技術(shù)成果應(yīng)用于實(shí)踐,優(yōu)化客戶倉庫與工廠的運(yùn)營(yíng)效率?!?/p>
在機(jī)器人領(lǐng)域深耕 30 余年、打造過多款行業(yè)先進(jìn)機(jī)器人的波士頓動(dòng)力,正將 Jetson Thor 集成到其人形機(jī)器人 Atlas,這將讓 Atlas 得以在設(shè)備端搭載此前僅服務(wù)器才具備的計(jì)算能力、實(shí)現(xiàn)邊緣端 AI 工作負(fù)載加速、高帶寬數(shù)據(jù)處理及大容量?jī)?nèi)存支持。
除人形機(jī)器人外,Jetson Thor 還將為各類機(jī)器人應(yīng)用提速,包括手術(shù)輔助機(jī)器人、智能牽引車、配送機(jī)器人、工業(yè)機(jī)械臂及視覺 AI 智能體等,能在邊緣端為規(guī)模更大、復(fù)雜度更高的 AI 模型提供實(shí)時(shí)推理能力。
機(jī)器人實(shí)時(shí)推理能力的巨大飛躍
Jetson Thor 專為生成式推理模型打造,可支持下一代物理 AI 智能體。這類智能體由大型 transformer 模型、視覺語言模型及視覺語言動(dòng)作模型驅(qū)動(dòng),能夠在邊緣端實(shí)時(shí)運(yùn)行,最大限度降低對(duì)云端的依賴。
Jetson Thor 通過 Jetson 軟件棧優(yōu)化,可滿足實(shí)時(shí)應(yīng)用對(duì)低延遲與高性能的需求,且支持所有主流生成式 AI 框架與 AI 推理模型,實(shí)時(shí)性能優(yōu)勢(shì)顯著。這些模型包括 Cosmos Reason、DeepSeek、Llama、Gemini、Qwen 等通用模型,以及 Isaac GR00T N1.5 等機(jī)器人專用模型,開發(fā)者可輕松在本地開展模型實(shí)驗(yàn)以及運(yùn)行推理。
通過多傳感器輸入,NVIDIA Jetson Thor 進(jìn)一步拓展了實(shí)時(shí)推理能力。通過 FP4 精度與推測(cè)解碼優(yōu)化,其性能有望進(jìn)一步提升。
依托 NVIDIA CUDA 生態(tài)系統(tǒng)對(duì)全生命周期的支持,隨著未來軟件版本更新,Jetson Thor 的吞吐量與響應(yīng)速度預(yù)計(jì)將進(jìn)一步提升。
Jetson Thor 模組還支持運(yùn)行完整的 NVIDIA AI 軟件棧,為幾乎所有物理 AI 工作流提速,覆蓋的平臺(tái)包括面向機(jī)器人的 NVIDIA Isaac、面向視頻分析 AI 智能體的 NVIDIA Metropolis,以及面向傳感器處理的 NVIDIA Holoscan。
借助這些軟件工具,開發(fā)者可輕松構(gòu)建并部署各類應(yīng)用,例如:能分析實(shí)時(shí)攝像頭流以監(jiān)控工人安全的視覺 AI 智能體、可在非結(jié)構(gòu)化環(huán)境中執(zhí)行操作任務(wù)的人形機(jī)器人,以及基于多攝像頭流數(shù)據(jù)、為外科醫(yī)生提供指導(dǎo)的智能手術(shù)室系統(tǒng)。
Jetson Thor 助力科研創(chuàng)新突破
斯坦福大學(xué)、卡內(nèi)基梅隆大學(xué)和蘇黎世大學(xué)的研究實(shí)驗(yàn)室,正借助 Jetson Thor 突破感知、規(guī)劃與導(dǎo)航模型的能力邊界,探索其在各類潛在應(yīng)用中的可能性。
卡內(nèi)基梅隆大學(xué)機(jī)器人學(xué)院的一支研究團(tuán)隊(duì),利用 NVIDIA Jetson 為自主機(jī)器人提供算力支持,這些機(jī)器人可在復(fù)雜的非結(jié)構(gòu)化環(huán)境中導(dǎo)航,執(zhí)行醫(yī)療分診及搜救等任務(wù)。
該大學(xué)研究副教授、AirLab 實(shí)驗(yàn)室負(fù)責(zé)人 Sebastian Scherer 表示:“我們的研究成果取決于現(xiàn)有計(jì)算能力的上限。多年前,計(jì)算機(jī)視覺與機(jī)器人技術(shù)之間存在巨大斷層,因?yàn)橛?jì)算機(jī)視覺工作負(fù)載的速度無法滿足實(shí)時(shí)決策需求。但如今,模型與計(jì)算能力已足夠強(qiáng)大,機(jī)器人能夠處理遠(yuǎn)比以往更精細(xì)的任務(wù)?!?/p>
Scherer 預(yù)計(jì),將團(tuán)隊(duì)現(xiàn)有的 NVIDIA Jetson AGX Orin 系統(tǒng)升級(jí)為 Jetson AGX Thor 開發(fā)者套件后,不僅能提升 AI 模型性能(其中包括其獲獎(jiǎng)機(jī)器人邊緣感知模型 MAC-VO),增強(qiáng)傳感器融合能力,還能開展機(jī)器人集群實(shí)驗(yàn)。
釋放 Jetson Thor 的強(qiáng)大潛能
Jetson Thor 產(chǎn)品系列包含開發(fā)者套件與量產(chǎn)級(jí)模組。其中,開發(fā)者套件包含 Jetson T5000 模組、帶有豐富接口的參考載板、帶風(fēng)扇的主動(dòng)式散熱器及電源適配器。
NVIDIA Jetson AGX Thor 開發(fā)者套件
Jetson 生態(tài)系統(tǒng)可滿足各類應(yīng)用需求,幫助企業(yè)開發(fā)者縮短產(chǎn)品上市周期。研華科技、Aetina、ConnectTech、米文動(dòng)力、天準(zhǔn)科技等硬件合作伙伴,正打造具備量產(chǎn)條件的 Jetson Thor 系統(tǒng),這些系統(tǒng)擁有靈活的輸入輸出接口、定制化配置,并能夠提供多種形態(tài)規(guī)格。
亞德諾半導(dǎo)體、e-con Systems、英飛凌、Leopard Imaging、RealSense、森云智能等傳感器與執(zhí)行器企業(yè),正借助 NVIDIA Holoscan Sensor Bridge(該平臺(tái)可簡(jiǎn)化傳感器融合與數(shù)據(jù)流處理流程),將攝像頭、雷達(dá)、激光雷達(dá)等設(shè)備的傳感器數(shù)據(jù),以超低延遲直接傳輸至 Jetson Thor 的 GPU 內(nèi)存中。
目前,數(shù)千家軟件企業(yè)可借助在 Jetson Thor 上運(yùn)行的多 AI 智能體工作流,升級(jí)其傳統(tǒng)視覺 AI 和機(jī)器人應(yīng)用。Openzeka、Rebotnix、Solomon 及 Vaidio 等領(lǐng)先企業(yè)已率先采用該產(chǎn)品。
全球已有超過 200 萬開發(fā)者使用 NVIDIA 技術(shù)加速機(jī)器人開發(fā)工作。閱讀有關(guān)技術(shù)博客,觀看開發(fā)者套件操作指南,即刻開始使用 Jetson Thor。
想要親身體驗(yàn) Jetson Thor,可報(bào)名參與即將舉辦的、由 Seeed Studio 與 Hugging Face 旗下 LeRobot 發(fā)起的黑客松活動(dòng)。
NVIDIA Jetson AGX Thor 開發(fā)者套件現(xiàn)已發(fā)售,定價(jià) 3,499 美元。NVIDIA Jetson T5000 模組也已發(fā)售,購買 1,000 片以上單價(jià) 2,999 美元。即刻通過 NVIDIA 授權(quán)合作伙伴購買。
NVIDIA 今天也宣布,面向自動(dòng)駕駛汽車和移動(dòng)解決方案的 NVIDIA DRIVE AGX Thor 開發(fā)者套件已經(jīng)開放預(yù)訂,預(yù)計(jì) 9 月開始發(fā)貨。