Xetrieval:機械化解釋密集檢索的框架
研究論文提出 Xetrieval,這是一個在嵌入級別解釋密集檢索的機械化框架。論文指出,解釋密集檢索器為何分配高相關性分數仍然具有挑戰性,因為檢索決策是通過不透明的高維嵌入進行的。現有解釋方法往往聚焦於表面信號,如詞彙匹配、標記對齊或後驗文本理由,因此對嵌入層級塑造密集檢索行為的潛在因素提供有限洞察。為解決此問題,Xetrieval 引入一個輕量級推理內部化器,它將思維鏈推理直接在嵌入空間中近似,僅需單次前向傳遞,從而豐富句子嵌入的推理導向資訊,同時避免昂貴的自迴歸生成。隨後,框架將這些推理增強的嵌入分解為稀疏、人類可解釋的特徵,每個特徵都關聯一個連貫的自然語言描述。通過聚合多個文檔側視圖的稀疏特徵重疊,Xetrieval 為個別檢索決策提供特徵級解釋。實驗在多種檢索器和基準測試上進行,結果顯示 Xetrieval 能夠發現連貫的可解釋特徵,產生更強的對級干預效果,並支持任務級特徵導向。項目頁面和原始碼已公開。
來源
來源:Hugging Face / 論文來源
- Hugging Face / 論文來源Xetrieval: Mechanistically Explaining Dense Retrieval