擴散模型中流蒸餾的定量近似框架

研究論文提出了一個用於擴散模型流蒸餾的定量近似框架，將少步採樣視為學習流映射組合下的誤差傳播過程。論文聚焦於概率流ODE的軌跡蒸餾，發現在低噪聲多模態區域，局部近似誤差會被顯著放大，導致動態行為變得剛性。在一個可解析的高斯混合Ornstein-Uhlenbeck設置中，研究人員分離出兩個核心挑戰：近似時間依賴的score場以及控制由概率流ODE的時間積分Jacobian約束所支配的動態放大。在近似方面，論文證明了ReLU-ReQU神經網絡能均勻地近似高斯混合score，其深度和寬度隨目標精度多項式增長，並明確依賴混合幾何結構。在穩定性方面，推導出概率流速度的空間Lipschitz常數的顯式界，並將其轉化為流映射穩定性估計，使得剛性區域的晚期放大變得可計算。基於這些估計，論文證明深層殘差組合能高效近似長程傳輸，全局誤差受穩定性放大因子控制，並識別出一種Lipschitz不匹配區域，其中單步蒸餾在結構上不利。由此產生的理論給出了一個穩定性平衡的非均勻時間網格，通過在累積穩定性座標中進行均勻分區獲得。實驗結果支持了理論預測，使用8個網格將端到端相對MSE降低了最多51.9%。