研究證明神經網路學習群組合成的頻譜表徵

研究論文提出了一個理解深度學習中結構化內部表徵如何出現的理論框架。該研究聚焦於「群組合成」任務，即訓練一個兩層神經網路預測有限群中兩個元素的運算結果。論文透過將投影梯度流提升到傅里葉域進行分析，指出訓練動力學受到一個基於表徵理論能量函數的黎曼梯度上升所支配。研究證明，在隨機初始化條件下，此動力學過程會幾乎必然地驅動每個神經元收斂至單一的不可約表徵，同時跨層的傅里葉係數會達到旋轉秩一對齊的狀態。這項理論不僅為特徵學習提供了表徵理論的解釋，也刻畫了矩陣值群表徵中一種新穎的低秩壓縮現象。對於阿爾貝爾群，論文更給出了完整的群體水平描述，指出隨機初始化會促進在非平凡表徵上的均勻多樣化，並誘導出哈爾均勻相位，共同透過多數投票機制來近似指標函數。研究進一步證明，相位對齊和表徵競爭均以指數收斂速率呈現。