擴散模型中的反學習：KL散度與似然約束統一框架

研究論文提出一個針對擴散模型中反學習的統一約束優化框架。論文探討如何移除不需要的數據或概念，同時保留預訓練模型的實用性，這是兩個根本衝突的目標。具體而言，作者基於反向和正向KL散度以及似然約束，制定了三個約束優化問題。前兩個問題推廣了現有的概念和數據反學習方法，而第三個問題則提供了一種新穎且自然的反學習公式。儘管KL約束具有非凸性，作者為所有三個問題建立了強對偶性，從而能夠明確地將其最優解表徵為反學習目標，並為每個公式開發了原始-對偶算法。實驗結果表明，與基於權重的基線方法相比，KL約束方法在概念和數據反學習中實現了更優的保留-反學習權衡，而基於似然的方法在匹配反學習效果的同時，更好地保留了剩餘概念。