返回事件流

BA-T:迭代式 Transformer 用於雙視圖捆綁調整

研究論文提出 BA-T 模型,這是一個專為雙視圖捆綁調整設計的迭代式 Transformer 架構。論文探討指出,現有的前饋模型在三維重建中雖然性能強勁,但往往依賴於深度解碼器堆疊,缺乏結構化的幾何優化機制,導致多視圖一致性較差。為了解決這些問題,BA-T 受到傳統捆綁調整的啟發,將其視為姿態與局部幾何之間的迭代信息傳播過程。因此,BA-T 在隱式令牌空間中實現了捆綁調整風格的結構化更新,作為一個可重複使用的層級。與傳統方法不同,它僅透過單一輕量層基於潛在殘差來優化預測。實驗結果顯示,BA-T 在迭代過程中逐步提高了姿態估計與重建的準確性,並展現出比常規解碼器更強的跨視圖一致性。更重要的是,它以僅使用 16% 解碼器參數的輕量級架構,匹配或超越了體積更大的模型。這項研究提供了一個緊湊、高效且結構化的替代方案,適用於精確的三維重建應用。代碼將在 GitHub 上公開發布,促進進一步研究。

來源:Hugging Face / 論文來源