RAFT：領域微調的數據精煉與自適應蒸餾，減輕遺忘

研究論文提出 RAFT（Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting），這是一個兩階段框架，旨在解決領域特定監督微調（SFT）中導致模型一般能力退化的問題。論文指出，傳統 SFT 存在監督相容性間隙和軌跡保持間隙，前者指領域目標與模型自然回應在風格和推理格式上的差異，後者指教師強制優化固定目標標記而不約束模型自身生成前綴的行為。為此，RAFT 首先通過自條件重寫、語義篩選和答案融合構建模型相容的監督數據；其次，進行答案條件在策略蒸餾，其中原始指令調整模型在學生生成的軌跡上提供軟目標，並以融合答案作為有用上下文。此外，引入頂部-K 溫度蒸餾和基於 EMA 的自適應損失平衡來穩定領域與一般性能的權衡。在三個指令調整基礎模型和五個領域上的實驗顯示，RAFT 比標準 SFT 平均提高領域準確度 23.2%，並在 MS-Bench 和 IFEval 上分別恢復 18.2% 和 10.2% 的退化，證明數據精煉與軌跡級保持相結合為減輕遺忘的領域微調提供了有效方案。