利用 Marchenko-Pastur 分佈剪枝深度神經網絡

研究論文探討一種基於 Marchenko-Pastur 隨機矩陣的深度神經網絡剪枝方法。官方公告表示，該方法的主要實踐貢獻是在剪枝後僅需少量校準和微調預算下保持模型準確性，而非依賴長時間的後剪枝重新優化流程。理論方面，論文給出確定性的數據路徑證書：如果移除的組件具有小的傳播 logit 效應，剪枝會減少彈性網目標並保留樣本。實驗在 ImageNet-1k 上進行，經過僅三次蒸發 epochs 後，ViT-B/16 模型在稀疏執行下達到 83.41% 的 top-1 準確率，MAC 減少 59.81%，並在 A40 後端獲得 1.388 倍的速度提升。對於結構化稀疏性，ViT-B/16、ViT-L/16、ConvNeXtV2-Base 和 ResNet 系列模型均展示出接近密集模型的準確度和計算效率提升。論文探討了零預算剪枝、權重恢復擴展以及正則化模型的行為，為高效神經網絡部署提供了新思路。