校準偏好學習：標籤排序的案例

研究論文提出，校準（預測機率與真實結果頻率的對齊）對可靠決策至關重要。雖然校準在分類和回歸中被廣泛研究，但尚未正式應用於概率標籤排序。論文形式化了標籤排序的校準，發展了一個層次概念，涵蓋完整排序、子排序和頂部k排序。研究證明完整排序校準意味著其他校準，但反之不成立，且子排序和頂部k校準不可比較。實驗發現，熱門標籤排序模型常校準不佳，子排序和頂部k指標存在顯著差異。將框架應用於RLHF獎勵模型時，發現校準與基準準確率強相關但不完美，這表明校準捕捉了超越頂部1準確率的質量維度。這些發現激勵了未來對校準不良的下游影響及糾正方法的研究。