GraphARC：基於圖形的抽象推理基準測試

研究論文提出 GraphARC，這是一個專門用於圖形結構數據的抽象推理基準測試。該基準測試擴展了抽象與推理語料庫（ARC）的少樣本轉換學習範式，每個任務要求從少數輸入輸出對中推斷轉換規則，並將其應用於新的測試圖形，涵蓋局部、全局和層次化的圖形轉換。與基於網格的 ARC 不同，GraphARC 實例可以在多樣化的圖形家族和大小中大規模生成，從而系統性地評估模型的泛化能力。論文評估了最先進的語言模型在 GraphARC 上的表現，發現模型在回答圖形性質問題時表現尚可，但在解決完整的圖形轉換任務時常失敗，揭示了理解與執行之間的差距。性能在較大實例上進一步下降，暴露出擴展障礙。更廣泛地說，通過結合節點分類、鏈接預測和圖形生成等面向，GraphARC 為未來的圖形基礎模型提供了一個有前景的測試平台。