視覺圖形支架用於大型語言模型的結構化推理

研究論文『Visual Graph Scaffolds for Structural Reasoning in Large Language Models』提出，圖形在大型語言模型（LLMs）的應用中，不僅是供應資訊的外部知識來源，更能有效組織推理過程。受人類使用圖形結構心智圖組織思維的啟發，論文探討圖形是否能作為LLMs的內部推理輔助工具。為此，研究在多跳問答任務上進行實驗，其中教師模型提供的推理軌跡被重新編寫為圖形心智圖，並用於指導學生模型。實驗揭示了一個明顯的模態差距：當圖形結構被轉換為文本格式時，其優勢在移除直接答案提示後變得有限，導致推理效率和答案質量顯著下降。相反地，視覺圖形指導在缺乏直接答案線索的情況下依然保持有效性，並且其優勢在經過監督微調和基於KL散度的知識蒸餾後仍然持續。這些結果支持了一個主張，即圖形應被研究為LLMs的視覺支架，用於組織推理，而不僅僅是外部知識結構。