內積感知量化:可證明快速、準確且自適應的算法
研究論文提出,量化技術在計算任務中廣泛應用於壓縮數據集、神經網路權重和記憶體使用。許多向量量化的下游應用需要執行內積運算,這推動了內積感知量化方案的研究,旨在近似保留與未見向量的內積,而非僅僅最小化均方誤差。本研究提出了捕捉自然需求的目標,並開發了自適應和無偏的量化方法,能在最壞情況和平均情況下近似保留內積。理論分析顯示與已研究的自適應隨機量化(ASQ)概念緊密相關。研究發展出可證明快速的精確和近似算法,這些理論成果啟發了高效的實用算法,在多種工作負載分佈下表現優異。此外,這些算法為標準ASQ帶來實用解決方案,比先前最先進的方法快2到10倍,同時維持質量。這些理論和實驗結果有助於使自適應量化技術在實際應用中更高效和可行。
來源
來源:網頁來源