自蒸餾策略梯度論文

研究論文探討自蒸餾策略梯度在強化學習中的應用，提出名為SDPG的新框架。論文指出，自蒸餾是一種有前景的方法，讓語言模型利用特權上下文來監督自身的生成過程，從而為稀疏獎勵問題提供密集監督。SDPG框架整合了多種技術，包括群組相對驗證器優勢與標準化標準差、精確的全詞彙自蒸餾，以及基於KL散度的參考策略正則化。這些組件的結合旨在增強學習過程的穩定性和收斂速度。實驗結果表明，與RLVR和自蒸餾基線相比，SDPG在多個測試中表現優異，展現出更好的性能和可靠性。論文還提供了詳細的代碼實現，已在GitHub上公開，供研究者參考和進一步開發。