多目標優化中梯度聚合的統一框架

研究論文針對多目標優化（MOO）中的梯度聚合問題，提出了一個統一框架。論文背景指出，許多機器學習任務都涉及多個目標之間的權衡，而基於梯度的 MOO 算法能有效處理這些問題。現有方法在梯度聚合步驟上各有不同，缺乏統一的理論基礎。本研究開發了一個統一框架，用於分析和設計梯度聚合方法，並建立了到 Pareto 穩定性的最佳收斂速率。核心分析基於一個足夠對齊條件，從中推導出一個定理，證明非衝突方向在梯度凸包內是收斂的充分條件。此外，通過投影到對偶錐的方法，可以確保可行性，這擴展了具有收斂保證的方法範圍。論文同時從原始優化視角探討梯度聚合，這涵蓋了現有的算法，澄清了它們之間的理論關係，並使得設計新變體成為可能。作為具體示例，研究引入了 capped MGDA，這是基於 CVaR（條件風險值）公式推導而來，並在對抗性聯邦學習的場景中展示了其穩健性。最後，通過在合成問題和實際基準上的實驗，驗證了所提出理論的有效性。