透過精確梯度縮減實現可擴展的導數高斯過程

研究論文在 arXiv 上發布，標題為『Scalable Derivative Gaussian Processes via Exact Gradient Reduction』，提出名為 TERA 的高度可擴展導數高斯過程方法。TERA 基於目標特定的精確梯度縮減技術，論文證明了對於平穩核，與目標和條件點連線方向正交的梯度分量在給定目標函數值時條件獨立。這使得透過指定一個大小為 m 的條件集，最多使用 m^2 個方向導數即可完全表徵精確條件密度。TERA 將這些縮減的、維度無關的條件作為 Vecchia 近似中的局部因子，有效地將樣本數 n 和維度 d 從密集矩陣反轉中解耦，從而將每個目標評估的計算成本降低到 O(dm^2 + m^6) 時間和 O(dm^2 + m^4) 記憶體，同時保持數學模型不變。實驗評估表明，TERA 在預測準確性方面達到最先進水平，同時運行速度比標準導數高斯過程快數個數量級。此外，計算時間和峰值 GPU 記憶體在維度 d 上基本保持平坦，使得在高維空間中進行高度可擴展的推斷成為可能，這對於函數評估昂貴的應用場景尤為重要。