MVCHead模型無需多視圖數據生成3D高斯頭像

這項研究由Humansensinglab在HuggingFace平台上發布，介紹了MVCHead模型，這是一個單次拍攝的狀態空間模型，旨在從隨機採樣的2D圖像中學習條件和非條件3D頭模型，無需依賴多視圖數據、3D監督或中間視圖生成。模型核心是層級狀態空間(HiSS)塊，它逐步從粗到細地細化高斯體，同時捕捉長程依賴性。在每個HiSS塊內，研究修改了Mamba的標準單向掃描，提出了層級雙向狀態掃描(HiBiSS)，以對齊多視圖不一致性最強的軸。此外，設計了SE(3)多視圖評判器，用於判斷一組自我渲染是否來自單一基礎3D配置，從而獎勵跨視圖像素對齊，而無需觀察真實多視圖對。MVCHead在感知質量上達到最先進水平，在紋理和幾何一致性上超越先前方法，並保持可比較的形狀一致性。為展示可擴展性，研究發布了FaceGS-10K數據集，這是首個大規模的3D高斯頭像資產數據集，專門用於訓練和評估3D頭模型。