LDM3D是在LAION-400M數據集包含一萬個樣本的子集上訓練而成的。LAION-400M是一個大型圖文數據集，包含超過4億個圖文對。對訓練語料庫進行標注時，研究團隊使用了之前由英特爾研究院開發(fā)的稠密深度估計模型DPT-Large，為圖像中的每個像素提供了高度準確的相對深度。LAION-400M數據集是基于研究用途創(chuàng)建而成的，以便廣大研究人員和其它興趣社群能在更大規(guī)模上測試模型訓練。
LDM3D模型在一臺英特爾AI超級計算機上完成了訓練，該超級計算機由英特爾?至強?處理器和英特爾?Habana Gaudi? AI加速器驅動。最終的模型和流程整合了RGB圖像和深度圖，生成360度全景圖，實現了沉浸式體驗。
為了展示LDM3D的潛力，英特爾和Blockade的研究人員開發(fā)了應用程序DepthFusion，通過標準的2D RGB圖像和深度圖創(chuàng)建沉浸式、交互式的360度全景體驗。DepthFusion利用了TouchDesigner，一種基于節(jié)點的可視化編程語言，用于實時互動多媒體內容，可將文本提示轉化為交互式和沉浸式數字體驗。LDM3D是能生成RGB圖像及其深度圖的單一模型，因此能夠節(jié)省內存占用和降低延遲。
LDM3D和DepthFusion的發(fā)布，為多視角生成式AI和計算機視覺的進一步發(fā)展鋪平了道路。英特爾將繼續(xù)探索如何使用生成式AI增強人類能力，并致力于打造一個強大的開源AI研發(fā)生態(tài)系統(tǒng)，讓更多人能夠使用AI技術。延續(xù)英特爾對開放AI生態(tài)系統(tǒng)的大力支持，LDM3D正在通過HuggingFace進行開源，讓AI研究人員和從業(yè)者能對這一系統(tǒng)作出進一步改進，并針對特定應用進行微調。
在2023年6月18日至22日舉行的IEEE/CVF計算機視覺和模式識別會議上，英特爾將發(fā)表這項研究成果。欲了解更多信息，請參考論文《LDM3D: Latent Diffusion Model for 3D》。
