LLM-FACETS：評估 LLM 透明度與問責性的隱私保護框架

研究論文提出 LLM-FACETS 框架，旨在解決非技術從業者難以審計大型語言模型的問題。現有工具需要編程專業知識或依賴雲端平台，可能傳輸數據到外部服務，對領域專家和合規官員造成障礙。LLM-FACETS 是一個開源框架，提供瀏覽器可訪問的介面和插件架構，結構圍繞三種從業者簡介：技術專家、領域專家和合規官員，這對應歐盟 AI 法案和 NIST AI 風險管理框架中識別的利益相關者類別。架構明確數據流：確定性指標如 BLEU、ROUGE 和 BERTScore 完全在自托管服務器內運行，無傳出傳輸；LLM 評審指標明確接觸外部 API，用戶保留完全憑證控制。框架通過三種機制實現透明度：token 級對數概率可視化用於知識不確定性、多評審共識以減輕評審偏差，以及 RAG Triad 指標（忠實度、答案相關性、上下文相關性）來檢測和定位幻覺。插件架構允許任何新指標或數據集在不修改評估管道的情況下集成。開源實現支持跨多個指標的交叉檢查，確保可重現性，並將 AI 問責性與被評估系統的建設團隊解耦。論文通過交叉驗證 18 個指標實現與標準參考庫的對比來驗證框架。