基於梯度變化的間隔遺憾在線學習

研究論文提出了一種新的在線學習算法，專注於非平穩環境。論文探討使用間隔遺憾作為評估指標，該指標要求算法在每個時間區間內都保持良好性能。所提出的算法是首個能達到與梯度變化相關的間隔遺憾界限，梯度變化衡量了在線函數梯度的累積變化，與問題相關量密切相關。方法基於一個簡單且高效的兩層在線集成架構，提供強大的理論保證，包括同時適應各種問題相關量並在最壞情況下保持最小最大最優速率。此外，為解決超參數調整挑戰，研究引入了一種自動適應未知常數的變體，通過新穎的 Lipschitz 自適應元算法實現。除了間隔遺憾，該方法還對間隔動態遺憾等更強評估指標有廣泛影響，並首次為隨機擴展對抗優化提供分段特性描述。理論分析通過實驗得到驗證。