論PEFT的擴展：邁向百萬個人模型與萬億參數

研究論文提出，參數高效微調（PEFT）通常被視為全微調的更便宜替代方案，但這項研究探討其更廣泛的角色：小型可訓練適配器作為持久本地狀態，置於強大的共享基礎模型之上。在這個框架中，基礎模型提供共享能力，而適配器攜帶實例特定行為，如偏好、技能、工具習慣和記憶式更新。論文組織問題圍繞三個擴展軸：Scale Up，更強的共享先驗使小型本地更新更有用；Scale Down，研究適配器在保持可靠的同時能有多小；以及 Scale Out，許多持久適配實例共存。MinT 提供了一個基礎設施示例，用於管理適配器身份、修訂、來源、評估和服務駐留。整體結果表明，PEFT 可以是持久個人模型的緊湊基礎，而非僅是全微調的預算替代品。