思考先於約束：大型語言模型的統一解碼框架

研究論文提出一種名為 In-Writing 的統一解碼框架，用於大型語言模型。論文探討指出，自然生成允許模型產出自由形式的回應，富含推理能力，但缺乏結構導致輸出難以驗證；反之，約束解碼能確保標準化格式，但過早施加約束可能無意中限制推理能力。In-Writing 方法在單次調用中結合自由推理和結構化生成，模型首先執行無約束推理，當生成一個觸發令牌後才應用結構化解碼，明確地將推理與格式化解耦。研究建立觸發令牌策略，幾乎消除過早觸發的失敗模式，其中約束解碼中斷進行中的推理。評估涵蓋多個數據集，包括分類和推理任務，結果顯示 In-Writing 方法超越現有技術，在自然生成的基礎上實現高達 27% 的準確率提升。論文代碼已在 GitHub 上公開發布，由 Nokia-Bell-Labs 維護，促進進一步研究與應用。