VLM3：視覺語言模型為原生 3D 學習者

在 HuggingFace 上發布的研究論文中，作者探討視覺語言模型在 3D 理解方面的潛力，提出 VLM3 方法。論文指出，視覺語言模型在語義理解上表現優異，但傳統 3D 任務依賴複雜的專家模型設計。研究認為視覺語言模型是原生的 3D 學習者，關鍵在於焦距統一、基於文字的像素參考以及數據混合與擴展。這些因素使得標準架構無需重大變更即可有效學習 3D 任務，例如深度估計、像素對應和相機姿態估計。VLM3 方法不僅提升深度估計精度，還能匹配專家模型的準確度，維持基於文字的訓練方式。這項發現開啟了簡單且可擴展的 3D 學習新方向。