ScoreStop：使用功能評分測試的基於梯度早期停止法

研究論文提出一個名為ScoreStop的創新早期停止方法，旨在解決梯度提升決策樹中的過擬合問題。傳統的停止規則監控驗證損失，並在損失未改善一段耐心時間後停止，但耐心參數缺乏可解釋尺度，且驗證損失可能有噪聲或由用戶指定的梯度隱式定義。ScoreStop將每次迭代的停止決策框架化為檢驗當前預測器是否為總體風險最小化的虛無假設。具體而言，它使用一個基於梯度的功能評分測試，該測試在驗證數據上計算，統計量在更新方向上具有尺度不變性，並在虛無假設下具有已知的漸近分佈。由於測試使用梯度而非損失值，相同的構造可應用於隱式損失如LambdaRank，以及通過影響函數應用於數據依賴損失如Cox迴歸。在合成實驗和真實數據基準測試中，ScoreStop展示了與基於損失方法相當的競爭力，證明了其有效性和廣泛適用性。