盡管人工智能機(jī)器人的認(rèn)知、感知和規(guī)劃層面取得了顯著進(jìn)展,但讓機(jī)器人在物理世界中實(shí)現(xiàn)精細(xì)手部操控、像人類一樣執(zhí)行復(fù)雜的靈巧操作,仍是橫亙在產(chǎn)業(yè)面前的“最后一公里”難題。其核心在于,缺乏能夠精準(zhǔn)刻畫人手操作中微力覺、高精度幾何與復(fù)雜接觸關(guān)系的大規(guī)模高質(zhì)量數(shù)據(jù),以及能夠處理超高維度狀態(tài)與控制復(fù)雜度的智能系統(tǒng)。
作為專注于靈巧操作技術(shù)的創(chuàng)新企業(yè),靈巧智能深刻認(rèn)識到,突破這一瓶頸的關(guān)鍵在于解決大規(guī)模、高質(zhì)量、多模態(tài)靈巧操作數(shù)據(jù)的缺失問題。本次發(fā)布的DexCanvas數(shù)據(jù)集是靈巧智能踐行“硬件體系持續(xù)演進(jìn)、算法平臺開源共享、數(shù)據(jù)基建生態(tài)共建”三維創(chuàng)新框架的重要成果,其核心價(jià)值:
1.系統(tǒng)性與精度突破:DexCanvas基于22類人手操作模式,為數(shù)據(jù)采集和組織提供結(jié)構(gòu)化框架。數(shù)據(jù)集匯聚超1000小時(shí)真人多模態(tài)演示數(shù)據(jù)與10萬小時(shí)物理仿真合成數(shù)據(jù),涵蓋亞毫米級位置軌跡和物理一致的接觸力信息,包含4種模態(tài)(RGB、深度、運(yùn)動(dòng)捕捉、力/力矩)同步數(shù)據(jù)。
2.物理真實(shí)性保障:采用獨(dú)創(chuàng)的物理信息完備的操作軌跡復(fù)刻流程,確保手-物交互的幾何接觸與力學(xué)特性同時(shí)滿足真實(shí)物理規(guī)律。提供多維度抓取語義標(biāo)注,涵蓋力閉合、形閉合等關(guān)鍵物理屬性。。
3.泛化與擴(kuò)展能力:數(shù)據(jù)源于純?nèi)祟愌菔荆灰蕾囂囟C(jī)器人形態(tài),為跨平臺技能遷移提供通用基礎(chǔ)。提供HuggingFace標(biāo)準(zhǔn)接口、開源數(shù)據(jù)加載器和使用示例,支持研究者在模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、大規(guī)模預(yù)訓(xùn)練等多種范式下的創(chuàng)新應(yīng)用。
“靈巧智能的使命是讓機(jī)器智能勝任物理世界的工作,而解放人類去從事更具創(chuàng)造性的活動(dòng)?!膘`巧智能具身智能科學(xué)家表示,“DexCanvas是我們?yōu)閷?shí)現(xiàn)這一使命而打造的核心基石。它通過系統(tǒng)化采集和物理增強(qiáng),將人類長期進(jìn)化形成的操作模式轉(zhuǎn)化為機(jī)器學(xué)習(xí)可用的結(jié)構(gòu)化知識?!?/p>
此外,靈巧智能在硬件產(chǎn)品方面也已取得顯著進(jìn)展。公司旗下DexHand系列靈巧手已實(shí)現(xiàn)量產(chǎn)和全球發(fā)售,該產(chǎn)品具有高自由度和多模態(tài)感知能力,為數(shù)據(jù)集的應(yīng)用提供了硬件載體。為促進(jìn)產(chǎn)業(yè)協(xié)同創(chuàng)新,靈巧智能宣布DexCanvas數(shù)據(jù)集即將面向業(yè)界開源,后續(xù)研究人員可通過Hugging Face平臺獲取數(shù)據(jù),通過GitHub獲取開源數(shù)據(jù)加載器和集成示例。完整技術(shù)報(bào)告也將在10月中于arXiv發(fā)布,可關(guān)注靈巧智能官方渠道獲取數(shù)據(jù)集開源進(jìn)展、技術(shù)報(bào)告與相關(guān)成果的第一手信息。