返回事件流

SAGE:用於代理型大型語言模型中高效記憶演化的新穎性閘道

研究論文提出 SAGE(Spherical Adaptive Gate for memory Evolution),這是一種針對代理型大型語言模型(LLM)記憶演化的新穎性閘道。論文探討了在代理型 LLM 中,系統必須持續決定新提取的事實是否應被添加到記憶中、與現有記憶合併,或直接忽略。先前研究多聚焦於記憶的檢索和存儲,而非原則性的寫入控制。SAGE 將記憶演化框架化為新穎性檢測問題,使用基於 von Mises-Fisher 的密度估計器在記憶嵌入上評分候選事實,並通過追蹤記憶存儲幾何的自適應閘道路由。它將明顯新穎的事實解析為 ADD,明顯冗餘的事實為 NOOP,僅將不確定案例送往 LLM 合併步驟,從而減少昂貴的寫入時推理。在 LoCoMo 基準測試中,SAGE 在所有七個開源骨幹模型上對比 Mem0 達到最佳平均 token-F1;在 GPT-4o-mini 上,它將添加階段的 API 成本降低 3.4 倍,延遲降低 2.5 倍,僅有微小的平均評分差距。作為 A-Mem 的二元閘道,SAGE 在五個模型上跳過約 16-18% 的 LLM 調用,對開源骨幹的品質影響極小。這些結果表明,新穎性感知的寫入控制是改善長期代理記憶質量和系統效率的實用槓桿。

來源

來源:網頁來源