在導入動作數(shù)據(jù)后,它不僅可以隨你走動、向你招手,還可以完成跳舞等復雜動作。

在開放的Demo App中,我們只需要用普通手機攝像頭圍繞目標物體進行一通360度拍攝,清晰的3D模型即可生成。除了Q版的動漫手辦以外,毛絨玩具或者機器人等人形角色也可以被掃描成模型并賦予骨骼。

那么它的能力到底如何呢?我們也實際操作了一把,我們用華為的技術(shù)給機器之心的毛絨玩偶構(gòu)建了3D模型并綁定好骨骼。

只需使用視頻中的同款動作數(shù)據(jù)驅(qū)動模型,就可以跳同款舞蹈啦:

如果四肢短小的玩偶都可以搞定的話,看起來絕大多數(shù)人形角色都是沒問題的!

通過AI能力用2D照片生成3D模型,是人工智能學術(shù)會議中的一個熱門領域,剛剛過去的國際頂會CVPR上就有數(shù)十篇這個方向的論文。通過對物體的不同角度進行拍攝,將2D圖像轉(zhuǎn)換為三角網(wǎng)格模型,生成的3D模型可供建筑師、設計師、藝術(shù)家和游戲開發(fā)者導入圖形引擎,并可以在此基礎上修改比例、更改材料或嘗試不同的照明效果。而如今,前沿技術(shù)的一部分已經(jīng)成為了手機上的應用,不禁讓人感嘆科技發(fā)展的速度。

3D建模,手機也行

快速構(gòu)建3D模型的能力來自華為終端云服務開放能力合集HMS Core,其擁有3D建模、3D引擎、AR Engine等多個圖形領域的開放服務。其中,3D建模服務可以給我們帶來很多想象空間,可以用在商品展示、教學、虛擬人物,甚至動畫制作上。

華為HMS Core 3D建模服務,不需要用TOF、深度攝像頭或LiDAR激光雷達等特殊硬件,只需要一個普通手機的RGB攝像頭即可完成建模。

這個過程在使用者看來是「一鍵生成」的,背后經(jīng)歷的卻是一系列復雜的處理過程。

高精度的幾何重建需要先進行物體分割,將目標物與背景分離,并進行圖像匹配、特征提取和深度估計,AI算法通過分析不同角度的圖像來判斷位置關系,生成點云構(gòu)建3D模型,再計算出紋理材質(zhì)對模型表面進行貼圖。

在這個過程中,華為利用自研的高低模技術(shù),通過計算剔除冗余的面片,可以用更低的面片數(shù)(5萬以下)達成高面片數(shù)(10萬及以上)模型的效果,在中低端手機上也能實現(xiàn)精細的視覺效果。

自動生成3D虛擬形象的「筋骨」

為了讓模型動起來,我們還需要對模型進行「骨骼綁定」:

傳統(tǒng)流程中,骨骼綁定也需要動畫師手工來完成,HMS Core的能力大幅提升了動畫制作的效率:通過自動的骨骼綁定和蒙皮權(quán)重估計,HMS Core可以讓你剛剛掃描出來的3D模型在導入動作數(shù)據(jù)后活動起來。

值得一提的是,在這個領域,此前少數(shù)實現(xiàn)自動關節(jié)估計的方法都需要目標模型擺好標準姿態(tài)。華為利用AI算法減少了人為規(guī)則的需求,可以支持非對稱的多種姿態(tài)。

面對模型的各種姿態(tài),AI算法需要大量數(shù)據(jù)進行訓練,但在3D模型重建任務上,業(yè)內(nèi)其實并沒有這樣的數(shù)據(jù)集。

對此,華為自研了一套3D人形角色自動生成框架,可以基于千百個模型數(shù)據(jù),生成數(shù)十萬甚至是上百萬的角色模型和骨骼。通過數(shù)據(jù)增強,HMS Core支持了非對稱姿態(tài)、不同體型和類別的人形角色的自動骨骼綁定。

投射到現(xiàn)實世界

最后,若想將構(gòu)建好的3D模型呈現(xiàn)在真實的世界中,實現(xiàn)真人與3D虛擬物體交互的效果,還需要準確高效的AR能力。

華為HMS Core的AR Engine通過整合算法實現(xiàn)了厘米級的精準定位,開發(fā)者可以通過這些能力讓虛擬世界與現(xiàn)實世界自然地融合在一起。

例如,AR Engine提供了光照估計和環(huán)境Mesh能力,使得3D虛擬形象的影子會隨著燈光變化,并可被現(xiàn)實世界中的物體擋住,帶來更自然的視覺交互體驗。

圖形領域能力全面開放,加速元宇宙時代到來

隨著業(yè)界虛實融合步伐加快,華為HMS Core全面開放圖形領域的相關能力,助力開發(fā)者高效構(gòu)建虛實融合的數(shù)字世界。

圖片來自2022年7月HUAWEI Developer Day(簡稱HDD)杭州站

開發(fā)者可以通過直接調(diào)用軟件接口獲得華為圖形領域的核心能力,節(jié)省大量時間和精力,高效完成應用開發(fā)。

相信有了這種能力的加持,或許下一個爆款的App已在路上,元宇宙時代也將加速到來。

(文章來源于公眾號:機器之心)

分享到

xiesc

相關推薦