自動可微分非線性張量網路 (ADNTNs) 實現深度神經網路的指數級壓縮

根據一篇在 arXiv 上發布的新研究論文，研究人員探討了自動可微分非線性張量網路 (ADNTNs)，這是一種結構化權重生成器，其緊湊的核心張量通過反向模式自動微分進行端到端訓練。論文指出，ADNTNs 可視為低秩適應和張量分解的自然擴展：它通過層次化的小核心、非線性激活和可選的側向混合張量來構建大型權重張量，而非使用單一低秩矩陣更新。該方法支持非線性激活、任務感知目標、批次處理和硬體感知執行調度。論文聚焦於三種架構：樹張量網路 (TTNs)、增強型 TTNs (aTTNs) 以及多尺度糾纏重整化 Ansätze (MERA)。在 AlexNet 和 VGG-16 層的模擬實驗中，每個層的壓縮比率從約 2000 倍到 77000 倍不等，準確度往往與密集基線匹配，並且在多個 VGG-16 案例中甚至有所提升。這些結果顯示 ADNTNs 是一條數學結構化且硬體感知的途徑，可望實現更小的神經網路，前提是優化、壓縮調度和部署內核需協同設計。