LDM3D是在LAION-400M數(shù)據(jù)集包含一萬(wàn)個(gè)樣本的子集上訓(xùn)練而成的。LAION-400M是一個(gè)大型圖文數(shù)據(jù)集，包含超過(guò)4億個(gè)圖文對(duì)。對(duì)訓(xùn)練語(yǔ)料庫(kù)進(jìn)行標(biāo)注時(shí)，研究團(tuán)隊(duì)使用了之前由英特爾研究院開發(fā)的稠密深度估計(jì)模型DPT-Large，為圖像中的每個(gè)像素提供了高度準(zhǔn)確的相對(duì)深度。LAION-400M數(shù)據(jù)集是基于研究用途創(chuàng)建而成的，以便廣大研究人員和其它興趣社群能在更大規(guī)模上測(cè)試模型訓(xùn)練。

LDM3D模型在一臺(tái)英特爾AI超級(jí)計(jì)算機(jī)上完成了訓(xùn)練，該超級(jí)計(jì)算機(jī)由英特爾?至強(qiáng)?處理器和英特爾?Habana Gaudi? AI加速器驅(qū)動(dòng)。最終的模型和流程整合了RGB圖像和深度圖，生成360度全景圖，實(shí)現(xiàn)了沉浸式體驗(yàn)。

為了展示LDM3D的潛力，英特爾和Blockade的研究人員開發(fā)了應(yīng)用程序DepthFusion，通過(guò)標(biāo)準(zhǔn)的2D RGB圖像和深度圖創(chuàng)建沉浸式、交互式的360度全景體驗(yàn)。DepthFusion利用了TouchDesigner，一種基于節(jié)點(diǎn)的可視化編程語(yǔ)言，用于實(shí)時(shí)互動(dòng)多媒體內(nèi)容，可將文本提示轉(zhuǎn)化為交互式和沉浸式數(shù)字體驗(yàn)。LDM3D是能生成RGB圖像及其深度圖的單一模型，因此能夠節(jié)省內(nèi)存占用和降低延遲。

LDM3D和DepthFusion的發(fā)布，為多視角生成式AI和計(jì)算機(jī)視覺的進(jìn)一步發(fā)展鋪平了道路。英特爾將繼續(xù)探索如何使用生成式AI增強(qiáng)人類能力，并致力于打造一個(gè)強(qiáng)大的開源AI研發(fā)生態(tài)系統(tǒng)，讓更多人能夠使用AI技術(shù)。延續(xù)英特爾對(duì)開放AI生態(tài)系統(tǒng)的大力支持，LDM3D正在通過(guò)HuggingFace進(jìn)行開源，讓AI研究人員和從業(yè)者能對(duì)這一系統(tǒng)作出進(jìn)一步改進(jìn)，并針對(duì)特定應(yīng)用進(jìn)行微調(diào)。

在2023年6月18日至22日舉行的IEEE/CVF計(jì)算機(jī)視覺和模式識(shí)別會(huì)議上，英特爾將發(fā)表這項(xiàng)研究成果。欲了解更多信息，請(qǐng)參考論文《LDM3D: Latent Diffusion Model for 3D》。

songjy