英特爾研究院6月21日宣布與Blockade Labs合作發(fā)布LDM3D（Latent Diffusion Model for 3D）模型，這一全新的擴散模型使用生成式AI創(chuàng)建3D視覺內(nèi)容。
據(jù)介紹，LDM3D是業(yè)界領先的利用擴散過程（diffusion process）生成深度圖（depth map）的模型，進而生成逼真的、沉浸式的360度全景圖。LDM3D有望革新內(nèi)容創(chuàng)作、元宇宙應用和數(shù)字體驗，改變包括娛樂、游戲、建筑和設計在內(nèi)的許多行業(yè)。
英特爾表示，LDM3D是在LAION-400M數(shù)據(jù)集包含一萬個樣本的子集上訓練而成的。LAION-400M是一個大型圖文數(shù)據(jù)集，包含超過4億個圖文對。對訓練語料庫進行標注時，研究團隊使用了之前由英特爾研究院開發(fā)的稠密深度估計模型DPT-Large，為圖像中的每個像素提供了高度準確的相對深度。LAION-400M數(shù)據(jù)集是基于研究用途創(chuàng)建而成的，以便廣大研究人員和其它興趣社群能在更大規(guī)模上測試模型訓練。
LDM3D模型在一臺英特爾AI超級計算機上完成了訓練，該超級計算機由英特爾至強處理器和英特爾Habana Gaudi AI加速器驅(qū)動。最終的模型和流程整合了RGB圖像和深度圖，生成360度全景圖，實現(xiàn)了沉浸式體驗。
