過參數化高斯混合模型梯度方法的局部線性收斂

研究論文提出了一種新的梯度方法，用於在過參數化條件下學習高斯混合模型。論文探討指出，過參數化雖然能避免虛假局部最優點，但往往導致局部收斂速度緩慢。通過對混合權重進行假設，研究者發現統計學習程序最小化的標準散度度量擁有一個緩慢生長的流形，在此流形上，知名的Polyak步長能幾何式地減少損失。基於此，他們設計了一種梯度方法，能在局部以線性速率收斂到最小值點。此外，對於任意混合權重，該方法能收斂到接近最優解，達到一個自然的錯誤規格閾值。在高層次上，方法通過交替進行幾次「短」梯度下降步以接近流形和「長」Polyak步以收縮到最小值點的距離來運作。研究結果表明，慢收斂並非過參數化的固有挑戰，而是可以通過利用損失景觀的有利結構來克服。