MergePipe：預算感知的 LLM 權重空間模型合併執行層

研究論文提出了一個名為 MergePipe 的預算感知執行層，用於大型語言模型（LLM）的權重空間模型合併。傳統的模型合併通常被視為對檢查點的代數操作，但在 LLM 規模下，必須讀取的專家權重集合成為限制資源。MergePipe 將 LLM 合併轉化為一個專家存取集合問題，在明確的 I/O 預算下選擇存取哪些專家 delta 區塊。該系統索引參數區塊，構建確定性存取計劃，並執行帶有可重播清單的預算合併。計劃在構建上預算安全，並在全預算下恢復完整讀取合併；對於固定係數加法運算符，遺漏更新的誤差受遺漏 delta 範數限制。在 Qwen 和 Llama 合併工作負載的實驗中，MergePipe 將專家讀取 I/O 減少高達一個數量級，並實現高達 11 倍的加速。代表性的預算掃描顯示與完整讀取合併相比參數偏差為 O(10^{-3})，且在下游基準測試上沒有單調退化。