改進活化預言機訓練與評估方法

研究論文提出改進 Activation Oracles (AOs) 的訓練體制。AOs 是解釋殘差流活化的有前景方法，但當前版本面臨幻覺和模糊等問題。為此，作者從四個方面進行改進：使用 on-policy rollouts 進行訓練、提升對話數據集、提供更多層信息以及改進注入公式。儘管能力提升邊際，但生活質量改善相當顯著。此外，論文開放源代碼了首個綜合評估套件 AObench，用於評估 AO 質量。整體而言，這項工作為可擴展的端到端可解釋性領域中的 AOs 及其他模型奠定基礎。