重尾擴散模型中的自我調節退火

研究論文提出了一種自我調節退火機制，應用於重尾擴散模型（HTDMs）中。傳統的擴散模型主要基於高斯分佈，這在理論上很方便，但對於重尾數據集的適用性存在局限。為了應對這一問題，重尾擴散模型通過將高斯分佈替換為學生t分佈來擴展標準公式，從而提升了在重尾數據上的尾部保真度。儘管基於隨機微分方程（SDE）的採樣在HTDMs中是可行的，但相關研究尚未充分探索。本文提出了一種專為HTDMs設計的SDE採樣器，該採樣器明確納入了狀態相關的擴散係數。這種狀態相關性自然誘導出一種自調節退火機制，通過自適應地調節有效噪聲尺度來適應數據的重尾特性。論文從理論層面深入探討了這一機制的工作原理，並通過實驗驗證了其在重尾分佈採樣中的必要性。研究結果表明，這種方法能夠有效生成符合重尾分佈的樣本，為深度生成模型處理非高斯數據提供了新的視角和工具。