用於充分維度縮減的黎曼隨機優化

研究論文提出一種新的優化算法 SMAVE，用於解決高維回歸中的充分維度縮減問題。充分維度縮減技術透過將協變量投影到低維子空間，保留響應的條件均值，使高維回歸更易處理。現有基於梯度的估計器在環境空間中操作時受維度詛咒影響，或在約束空間中定位時計算成本高昂。本研究將總體最小平均方差估計風險的最小化器重新表述為 Stiefel 流形上的光滑最大化問題，具有閉式黎曼梯度，從而開發出 SMAVE 算法。SMAVE 結合了稀疏投影空間最近鄰定位與黎曼隨機梯度上升，簡化版本具有幾乎必然收斂性並匹配非凸隨機一階優化的非漸近縮放比例。實證測試顯示，SMAVE 在合成數據集上恢復子空間的能力與 RMAVE 相當或更優，在四個真實數據集上均勻優於 OPG，且運行時間比 RMAVE 快數量級，同時保持競爭力或更佳的性能。