探討表格基礎模型的不確定性量化能力

在一篇 arXiv 研究論文中，研究人員探討了表格基礎模型（FMs）在不確定性量化（UQ）方面的能力，特別針對迴歸任務。論文透過系統性的實證研究，比較了 Tabular Prior-Data Fitted Networks（TabPFN）與高斯過程（GPs），涵蓋不同複雜度、數據集大小和輸入維度的問題。研究使用預設設定構建所有 GPs，並與 TabPFN v2.5 進行公平比較。結果發現一個關鍵權衡：在數據充足且問題複雜的高維情況下，TabPFN 表現具有競爭力；然而，在數據稀缺的設定中，GPs 往往提供更佳的預測準確度和 UQ。此外，當所選核函數適合底層函數時，GPs 的性能可能大幅超越 TabPFN。論文結論強調了顯式先驗與學習先驗之間的差異，並提供可重現的實驗代碼以供驗證。