探索自主代理式數據工程以實現模型專業化

根據研究論文指出，大型語言模型在通用任務上展現強大性能，但在缺乏高質量領域特定數據的情況下，往往難以適應專業領域。現有的基於LLM的數據策展方法主要依賴人類設計的工作流程，因此未探索LLMs是否能自主執行端到端的數據工程流程以實現模型專業化。本研究正式化了'自主代理式數據工程'這一新任務，旨在評估LLMs作為自主數據工程師的能力，透過端到端的數據策展來推動模型專業化。研究將數據視為可優化組件，並探討代理如何計劃、生成和迭代優化跨多個領域的訓練數據，以訓練後性能提升為指導。實驗結果表明，自主LLM數據工程師能帶來顯著增益，例如GPT-5.2構建的訓練課程將學生模型的性能提升了57.29%，完全透過迭代的代理驅動數據適應實現。這項研究照亮了潛力與瓶頸，確立了自主數據工程作為一種可測量的能力，並為代理驅動的模型專業化開闢了道路。代碼將在GitHub上發布於https://github.com/zjunlp/DataAgent。