透過最小充分表示學習進行領域特定數據合成的新框架 DOMINO

研究論文探討大型語言模型在領域特定數據合成中的挑戰，指出現有方法依賴於自然語言描述和提示工程，限制了在難以表達領域中的應用。本文提出一個歸納範式，其中目標領域僅通過一組參考樣本定義，特別適用於領域特徵難以自然語言闡述的情況。作者設計了一個名為 DOMINO 的新穎框架，從參考樣本中學習最小充分的領域表示，並利用它來引導生成領域對齊的合成數據。DOMINO 整合了提示調整與對比解纏目標，以分離領域級別的模式和樣本特定的噪聲，從而減少過擬合同時保留核心領域特徵。理論上，研究證明 DOMINO 擴展了合成數據分佈的支持，確保更大的多樣性。實驗結果顯示，在領域定義隱含的挑戰性編程基準上，使用 DOMINO 合成數據進行微調，相較於強大的指令調整基礎模型，Pass@1 準確率提升了最多 4.63%，驗證了其有效性和穩健性。這項工作為領域特定數據合成建立了新範式，使得無需手動提示設計或自然語言領域規範即可實現實用且可擴展的領域適應。