CL-DMDF：基於對比學習的動態多模態數據融合模型

研究論文提出了一種名為CL-DMDF的動態多模態數據融合模型，該模型基於對比學習方法，旨在解決多模態數據處理中模態輸入不確定或缺失的常見問題。在多模態數據融合領域，整合和分析來自多種模態的資訊對於揭示潛在關聯和互補模式至關重要，然而現有方法往往假設模態完全可觀測，無法適應實際應用中的缺失情況。傳統模型有時過度強調局部交互，忽略了全局互補線索。為克服這些限制，CL-DMDF引入了跨特徵和模態維度的新注意力機制，計算可靠的注意力分數以反映各層級的重要性。同時，模型整合了基於實體質心的對比學習模組，從實體特徵構建正樣本來增強判別學習。自適應融合模組則用於提升動態融合策略的效率和準確性。在三個數據集上的廣泛實驗表明，CL-DMDF在多種多模態融合任務中展現出有效性，為處理模態缺失的數據融合提供了新的解決方案。