對(duì)于NVIDIA Omniverse有很多東西需要了解，最簡(jiǎn)單的理解它是NVIDIA發(fā)布的一個(gè)計(jì)算機(jī)圖形與仿真模擬平臺(tái)，平臺(tái)基于Pixar公司的Universal Scene Description(USD，通用場(chǎng)景描述)與NVIDIA RTX GPU技術(shù)。

NVIDIA Omniverse很神奇。愛立信用它來(lái)調(diào)整基站的位置，虛擬大流量的移動(dòng)的車輛、物體對(duì)信號(hào)的影響，甚至可以借助Omniverse VR在虛擬世界中親身見證。洛克希德·馬丁公司用它預(yù)測(cè)整個(gè)加州山火蔓延的路徑和規(guī)模，告訴消防人員什么時(shí)候可以采取什么策略。這些都是建立在模型的基礎(chǔ)上，基于AI和人工智能深度神經(jīng)網(wǎng)絡(luò)，判斷預(yù)警火災(zāi)發(fā)生的位置、蔓延的速度和方向，做到前期火山軌跡圖。

在不久前的秋季GTC上，NVIDIA 發(fā)布了Omniverse幾大全新特性，主要包含：Showroom、Farm、AR和VR，涉及展示、多節(jié)點(diǎn)渲染和模擬、AR等，如今Showroom、Farm、AR已經(jīng)在Omniverse公測(cè)版里可以使用，VR會(huì)盡快發(fā)布。 在這次GTC上，NVIDIA還宣布了基于Omniverse Enterprise的人工智能開發(fā)框架叫NVIDIA Modulus，通過(guò)使用物理加速的機(jī)器學(xué)習(xí)和訓(xùn)練數(shù)據(jù)，去進(jìn)行深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，可以輸出一個(gè)真實(shí)世界場(chǎng)景的替代模型。

NVIDI Omniverse Replicator、Isaac Sim可以用于自主駕駛車輛、機(jī)器人的訓(xùn)練，Drive Sim可以用于無(wú)人駕駛車、自駕車、大型自主移動(dòng)車輛。Omniverse Avatar為AI助手的創(chuàng)建，開辟了道路，可以應(yīng)用在餐廳訂單、銀行交個(gè)人預(yù)約和預(yù)訂等場(chǎng)景，為客戶帶來(lái)不同的視覺和服務(wù)體驗(yàn)。

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“智能虛擬助手的前景一片光明。Omniverse Avatar將我們的基礎(chǔ)圖像、模擬和AI技術(shù)結(jié)合在一起，打造出一些有史以來(lái)最復(fù)雜的實(shí)時(shí)應(yīng)用。協(xié)作機(jī)器人和虛擬助手的案例令人難以置信，影響深遠(yuǎn)?！?/p>

在NVIDIA GTC主題演講中，黃仁勛分享了使用Omniverse Avatar的多個(gè)例子，包括用于客戶支持的Project Tokkio、用于永久在線車載智能服務(wù)的NVIDIA DRIVE Concierge以及用于視頻會(huì)議的Project Maxine。

Omniverse Avatar 所使用的語(yǔ)音AI、計(jì)算機(jī)視覺、自然語(yǔ)言理解、推薦引擎、面部動(dòng)畫和圖像元素，通過(guò)以下技術(shù)實(shí)現(xiàn)：

● 其語(yǔ)音識(shí)別基于NVIDIA Riva。這個(gè)軟件開發(fā)工具包可以識(shí)別多種語(yǔ)言的語(yǔ)音。Riva還可通過(guò)文本語(yǔ)音轉(zhuǎn)換功能生成接近真人的語(yǔ)音反饋。

● 其自然語(yǔ)言理解基于Megatron 530B大型語(yǔ)言模型。該模型可以識(shí)別、理解和生成人類語(yǔ)言。Megatron 530B是一個(gè)預(yù)訓(xùn)練模型，它可以在很少或沒有訓(xùn)練的情況下完成句子、回答主題廣泛的問(wèn)題、總結(jié)長(zhǎng)而復(fù)雜的故事、翻譯成其他語(yǔ)言，并應(yīng)對(duì)許多它未接受過(guò)專門訓(xùn)練的情景。

● 其推薦引擎由NVIDIA Merlin?提供。該框架使企業(yè)可以建立能夠處理大量數(shù)據(jù)的深度學(xué)習(xí)推薦系統(tǒng)，以提出更明智的建議。

● 其感知功能來(lái)自用于視頻分析的計(jì)算機(jī)視覺框架——NVIDIA Metropolis。

● 其虛擬形象動(dòng)畫由AI賦能的2D和3D面部動(dòng)畫和渲染技術(shù)——NVIDIA Video2Face和Audio2Face驅(qū)動(dòng)。

這些技術(shù)被集成在一個(gè)應(yīng)用，并使用NVIDIA統(tǒng)一計(jì)算框架進(jìn)行實(shí)時(shí)處理。

songjy