Google DeepMind 擔憂數百萬代理互動的風險

媒體報導指出，Google DeepMind 正在資助一項研究，探討數百萬個不同 AI 代理在網上互動時的潛在危險。據該公司 AGI 安全與對齊研究主管 Rohin Shah 表示，能夠執行任務且無需人類監督、並遵循其他代理指令的代理大量出現，帶來了全新的風險類別。為應對此問題，Google DeepMind 與多個組織合作，宣布設立 1000 萬美元的資金池，用於資助研究多代理系統的行為並防止不安全場景。合作方包括 Schmidt Sciences、英國政府的 ARIA、Cooperative AI 基金會以及 Google.org。研究旨在啟動學術界對多代理安全的研究，因為 Shah 認為這方面領域尚未形成，希望學術界能提前介入。風險主要包括互聯網上已發生的惡化版本，如詐騙、提示注入和其他網絡攻擊形式，這些可能威脅數字公共空間的安全。Shah 和 Schmidt Sciences 的 James Fox 強調，需要通過現實模擬來研究大量代理互動，因為單個代理的行為無法預測整體結果。此外，其他 AI 公司如 Anthropic 也發布了部署 AI 代理的指南，基於零信任安全原則，強調假設系統脆弱。網路安全專家 Rafael Angel 指出，代理打破了傳統安全假設，因其能推理和應變，因此這項資助至關重要，但需注意解決實際存在的問題，而非僅關注假設性風險。這項合作反映了 AI 行業對潛在風險的警覺，並尋求在代理技術廣泛應用前建立安全基礎。