在邊界對沖:以少量樣本學習新任務
研究論文提出一種新的方法,用於處理少量樣本學習新任務的挑戰。當學習者面臨樣本稀缺的新任務時,必須善加利用任何可用的側信息。在實踐中,這通常體現為模型在公共基準測試中相關任務上的評估表現。一個關鍵問題是如何建模任務相關性,使其既現實又能從基準評估中帶來可證明的收益。經驗觀察發現,弱單調性往往近似成立:如果一個模型在多個基準測試中佔優,它也傾向於在新任務上表現更好。論文探索了在(近似)弱單調性下學習的統計複雜性,並將其應用於兩個學習範式:遷移學習和模型選擇聚合。結果顯示,不僅可以根據單調性修剪模型類別,還可以進一步通過對沖前沿來適應可用的權衡幾何。
來源
來源:網頁來源