SynCred-Bench：評估 AI 生成視覺虛假信息的合成可信度

在 HuggingFace 上發布的研究論文指出，近年來的生成模型現在能夠產生帶有真實嵌入文本和佈局的視覺偽造品，這造成了一種新的虛假信息威脅：合成可信度。為了應對這一挑戰，研究團隊引入了 SYNCRED-Bench，這是一個包含 600 張 AI 生成虛假信息圖片的基準測試，圖片平衡分佈於六種可信形式類別和七種細粒度傳播風格。此外，他們還提供了 FP450，一個真實圖片的負集，用於測量系統的誤報率。對現有系統的廣泛評估顯示，它們仍然不可靠：在 5% 誤報率的約束下，15 個多模態大型語言模型（MLLMs）僅達到 10.5% 的真陽性率，開源的 AI 生成內容（AIGC）檢測器低於 5%，而商業 API 則達到 57.6%。即使是人類標註者，也難以識別合成可信度，真陽性率僅為 63%。這些發現確立了合成可信度作為一個嚴重且未充分探索的視覺虛假信息挑戰，並提供了一個基準，用於開發能夠超越表面可信線索進行推理的檢測器。