當 Softmax 在頂部失敗：InfoNCE 的極值校正

研究論文提出，InfoNCE 作為標準對比學習目標，其 softmax 形式不僅是計算上的便利，還隱含了關於如何選擇頂部評分範例的統計假設。論文分析指出，在現代對比學習常用的歸一化嵌入設定下，這一假設往往與實際情況不匹配。基於極值理論，作者提出 WEINCE 作為 InfoNCE 的簡單修改版本，該方法使用錨點線上批次統計，將標準 softmax logits 與端點短缺校正相結合，且不增加任何可訓練參數。在五個視覺基準測試的實驗中，WEINCE 在凍結特徵評估方面展現出一致的性能提升，結果顯示對困難負樣本進行更精確的統計處理有助於改善對比學習目標的效果。