量化推理模型的過度思考問題

研究論文指出，後訓練量化（PTQ）雖然被廣泛用於高效部署大型語言模型，但其對推理模型的影響尚未被充分理解。該研究在數學、編程和科學問答任務中發現，激進的量化會降低準確率，同時增加思維鏈（CoT）的長度。令人驚訝的是，在量化模型失敗的案例中，有多達52%的情況是模型在中間推理步驟中已經得出正確答案，但最終未能輸出。為了理解量化導致過度思考錯誤增加的原因，研究測量了量化與全精度輸出分佈之間的標記級KL散度。KL散度高的位置與高下一個標記熵強相關，並且在這些位置，量化模型不成比例地採樣過度思考標記，如「wait」、「but」和「alternatively」。研究表明，簡單地引入一個無需訓練的日誌懲罰，在策劃的過度思考標記集上，可以將CoT長度減少12至23%，同時在五個模型（1.5B到32B參數）、三種量化方法和五個基準測試中保持或提高準確率，從而獲得準確率與推理成本之間的有利帕累托前沿。此外，量化模型產生的過度思考錯誤最多可減少58%。