透過動態上下文正交化緩解 LLM 幻覺問題

研究論文提出一個幾何框架來解釋大型語言模型中的幻覺現象。論文探討指出，幻覺相對於殘差流的語義流形表現為正交噪音，具體而言，當注意力頭引入與上下文子空間正交的分量時，會破壞潛在表示的一致性。基於此，論文引入了動態上下文正交化（DCO）方法，這是一種推理時的干預技術。DCO 利用輸入殘差流作為動態上下文錨點，對注意力頭輸出進行正交分解，並通過逐層 Z 分數抑制機制來選擇性衰減異常正交分量，從而區分語境對齊的語義更新和偏離噪音。評估在 Llama-3-8B 和 70B 模型上進行，使用 XSum、NQ-Swap 和 IFEval 等基準測試。結果顯示，DCO 在語境忠誠度方面優於現有干預方法，同時在 TriviaQA 和 TruthfulQA 等知識密集型任務上保持高性能，有效緩解了幻覺抑制與參數知識保留之間的權衡問題。研究還在 GitHub 上發布了代碼供公眾使用。