Hamilton-Jacobi 理論在深度學習中的應用

研究論文提出，訓練神經網路的過程可以精確地對應到 Hamilton-Jacobi 初始值問題的搜索。具體而言，每個梯度步驟都在選擇一個粘性 Hamilton-Jacobi 方程的初始數據，該方程的 Hopf-Cole 傳播器最適合觀測數據；在推理階段，輸入是解被評估的空間點，而初始條件已編碼在權重中。這種對應關係對於 log-sum-exp 層是精確的，對於更廣泛的架構如殘差網路、變換器和循環架構（如 RNN、LSTM、SSM）則是結構性的，它們各自離散化同一類 Hamilton-Jacobi 方程，依賴於架構的哈密頓量和粘性。論文進一步提出一個變形參數 ε，它在四種視角（網路、熱帶代數、粘性偏微分方程、凸優化）之間建立了一個交換圖，並在 Lipschitz 條件下封閉。定量結果包括固定 t 時的最小最大最優泛化率 O(n^{-1/(d+2)})、由 ε 控制的對抗魯棒性、殘差網路中作為哈密頓系統共狀態方程的反向傳播、與數據內在維度一致的縮放指數，以及一個閉式 O(N) 影響函數，其熵景觀隨 ε 增加發生折疊分叉，每次合併歸因盆地。