透過變異空間實現編碼器-解碼器神經運算元的高效近似

這篇由 arXiv 發布的研究論文探討了使用編碼器-解碼器神經網絡進行運算元學習的理論框架。論文受神經網絡函數空間理論的啟發，引入了一種稱為變異空間的無限維結構類，用於描述非線性運算元。該空間直接定義在輸入和輸出空間上的向量值測度，為運算元提供了更精確的數學模型。研究的核心貢獻在於，對於屬於變異空間的運算元，在 Bochner L^q 範數下建立了編碼器-解碼器兩層網絡的近似界。這個近似界分解為輸入編碼誤差、輸出編碼誤差和一個有限寬度近似項，後者的收斂速率為 N^{-1/2}，其中 N 是網絡寬度，且常數與編碼維度無關。當輸入和輸出編碼誤差隨編碼維度多項式衰減時，這些估計會產生代數級的近似和學習率。論文結果為高效神經運算元學習提供了堅實的理論基礎，超越了傳統上僅限於 Lipschitz 或 Fréchet 可微運算元類的分析範圍，有助於推動神經網絡在科學計算和工程應用中的發展。