深度 ReLU 神經網路對各向異性和混合光滑函數的逼近速率

根據 arXiv 上的研究論文，深度 ReLU 神經網路在逼近和學習光滑函數方面展現了高效性。論文詳細分析了在 L^p([0,1]^d) 範數下，網路寬度 W 和深度 L 如何影響逼近速率。先前研究已證明，對於 Besov 空間，在 Sobolev 嵌入條件 s/d > 1/q - 1/p 下，逼近速率為 O((WL)^{-2s/d})。為了應對維度詛咒的挑戰，本論文將此結果擴展至各向異性和混合光滑函數類別。對於各向異性 Besov 空間，定義了平均光滑度 tilde s = (sum_{i=1}^d s_i^{-1})^{-1}，並在條件 tilde s > 1/q - 1/p 下建立了逼近速率 O((WL)^{-2 tilde s})。對於混合光滑 Besov 空間，在 s > 1/q - 1/p 條件下，逼近速率達到 O((WL)^{-2s})，僅帶有對數因子。此外，論文還探討了各向異性 Besov 函數組合的逼近界限。研究結果表明，深度 ReLU 神經網路在廣泛的光滑函數類別上可以達到最小最大最優速率，這對深度學習理論有重要意義。