CoHyDE：用於工具檢索的 LLM 重寫器與密集編碼器迭代共訓練

研究論文提出 CoHyDE，一種用於工具檢索的迭代共訓練方法。針對大型 API 目錄的工具檢索，LLM 代理的用戶查詢常使用口語化、未充分指定的語言，而目錄使用技術性詞彙，傳統方法如對比編碼器微調和 HyDE 式查詢擴展各有局限。CoHyDE 通過共訓練 LLM 重寫器和密集編碼器來解決此問題：編碼器使用重寫器生成的目錄風格虛構描述進行 InfoNCE 訓練，而重寫器則基於編碼器的檢索分數通過 DPO 進行偏好對齊。在約 1 萬個工具的 ToolBench 目錄子集上，三輪 CoHyDE 在標準查詢上提升 +2.5 個 NDCG@5 百分點，在模糊查詢上提升 +6.3 個百分點，最難模糊層級提升達 +8 個百分點。消融實驗確認共訓練是關鍵要素，單獨使用任一組件無法匹配 CoHyDE 的性能，尤其在模糊查詢上損失可達 -8 個百分點。