OCC-RAG：優化認知核心，實現忠實問答

研究論文提出 Optimal Cognitive Core (OCC) 系列的小語言模型，其中 OCC-RAG 針對忠實問答任務進行優化。論文指出，語言模型的發展以規模為主，但許多實際應用更需要穩健推理而非廣泛參數知識，因此任務專用的小語言模型成為一種設計選擇。OCC-RAG 旨在基於提供的上下文進行多跳推理，並忽略記憶知識。為訓練 OCC-RAG，研究團隊實施了一種新穎的數據合成管道，生成超過三百萬個多上下文、多跳問答範例，專注於多跳推理、嚴格上下文忠實度和校準拒絕。他們發布了 OCC-RAG-0.6B 和 OCC-RAG-1.7B 模型，這些模型在 Mid-training 後能產生帶有來源引用的結構化推理軌跡。基準測試顯示，OCC-RAG 在多跳推理、忠實度和拒絕任務上，能匹配或超越尺寸 2 到 6 倍的通用模型，涉及 HotpotQA、MuSiQue、TAT-QA、ConFiQA 和 MuSiQue-Un 等數據集。