透過複雜度最小化實現元學習的可驗證數據擴展定律

研究論文『Provable Data Scaling Law for Meta Learning via Complexity Minimization』探討了預訓練作為現代機器學習基礎範式的現象，其關鍵優勢在於隨預訓練數據規模增加，下游樣本複雜度降低，但現有理論框架未能完全解釋此擴展行為。論文提出『complexity minimization』這一新穎的元表示學習框架，旨在理論分析此現象，透過評估每個領域最適合的下游模型複雜度，並最小化跨源域的最壞情況複雜度來學習表示。研究進行端到端理論分析，從預訓練到下游回歸，顯示此框架可證明地捕捉到擴展行為；特別是，隨著元訓練數據量增加，少樣本適應的誤差率會改善。實驗上，將複雜度正則化納入現有元學習方法，一致地提升了下游樣本效率，為元學習領域提供了重要的理論洞察。