AdaCoM:針對長遠任務的自適應上下文管理技術
研究論文提出一種名為 AdaCoM 的自適應上下文管理技術,旨在解決大型語言模型代理在長時間任務中因上下文累積而導致的效能下降問題。AdaCoM 透過訓練一個外部大型語言模型來管理凍結代理的上下文,使用靈活的修改動作和端到端強化學習來優化上下文保留與修剪。在網路搜尋和深度研究基準測試中,AdaCoM 顯著提升了代理的表現,成功保留任務約束和進度,同時移除過時內容。論文還揭示了一個忠誠度-可靠性權衡現象:具有較高原生 ReAct 效能的代理受益於較高的上下文忠誠度保留,而效能較低的代理則需要更積極的壓縮以維持在可靠推理範圍內。轉移實驗進一步顯示,AdaCoM 在能力相似的代理之間泛化效果最佳,這為代理系統中可重用上下文管理器的發展提供了實用路徑。
來源
來源:網頁來源