使用隨機梯度馬可夫鏈蒙地卡羅進行大樣本不確定性量化的準確方法

這篇研究論文探討了在批次大小較大或模型錯誤指定的實際設定中，調諧隨機梯度下降（SGD）和隨機梯度蘭氏動力學（SGLD）以進行近似抽樣和不確定性量化的挑戰。現有提供調諧指導的理論依賴於連續時間限制或強統計假設，在這些情況下可能變得定量不準確。為了解決這些不足，論文提出了針對帶有和不帶有動量的 SG(L)D 的新離散時間近似方法，這些方法能夠準確預測穩態協方差、迭代平均協方差和整合自相關時間。此外，研究證明了定量的非漸進誤差界限，顯示這些估計在實際調諧和不確定性量化中足夠準確。數值實驗表明，該理論在多種模型和數據生成分佈中提供了改進的調諧指導，包括使用 β-散度而非對數損失來獲得統計穩健推斷的情況。這項工作為大樣本不確定性量化的實際應用奠定了理論基礎。