基於矩的推斷用於潛在狄利克雷協變量的回歸

論文探討主題模型如潛在狄利克雷分配（LDA）在回歸分析中的應用。傳統方法常將主題模型作為降維工具，將估計的文檔級主題份額視為觀察協變量，但這種插件工作流帶來兩個推斷困難：有效的推斷需要正規的首階段到次階段擴展以傳播主題估計不確定性，且在固定文檔長度下，文檔的主題混合無法從其自身詞語中一致恢復，即使總體主題矩陣已知。研究論文提出基於校正光譜矩的方法，在有限 LDA 模型下，當總狄利克雷濃度已知時，低階詞矩可被校正以產生在潛在主題基上對角的運算元。作者將此方法擴展到下游回歸，通過響應加權的詞矩進行校正，直接識別回歸係數 β，而無需估計文檔級主題份額。關鍵障礙在於校正依賴於未知的總濃度參數 α0。論文證明，對於 k≥3 個主題，在一般有限探針條件下，α0 可通過交換性識別：在真實值時，一族校正詞矩運算元可交換，否則一般不可交換。這產生可行的估計器，並讓 α0 的估計不確定性傳播到 β 的推斷中。估計器在文檔數量增長時漸近線性，使用三明治標準誤差。模擬顯示方法在覆蓋率上接近名義水平，優於傳統插件主題份額回歸，並應用於頂級經濟學期刊展示潛在主題效應的對比推斷。