返回事件流

Echo-Infinity:學習演化記憶實現即時無限影片生成

研究論文提出 Echo-Infinity,這是一個自迴歸框架,旨在實現即時無限影片生成。它運用可學習的演化記憶,以動態方式過濾、抽象和壓縮任意長度的歷史資訊,且計算成本恆定。現有方法多依賴預定義的 KV-cache 排程、固定比例的啟發式壓縮或推理時的 RoPE 適應,這些設計容易因有限緩存窗口和忽略自迴歸生成噪音而丟失歷史資訊並放大累積錯誤。Echo-Infinity 受人類記憶鞏固啟發,以可學習的記憶查詢取代手動記憶策劃,這些查詢通過注意力機制和閘門機制更新,當過去幀被移出局部窗口時進行優化。查詢與影片擴散轉換器端到端訓練,形成演化記憶,支持任意壓縮比率且計算獨立於影片長度,同時作為可泛化的生成先驗,即使僅使用優化的初始狀態也能提升品質。論文進一步引入統一相對 RoPE 配方,將起始幀錨定為 id 0,讓最新幀 id 在訓練和推理中不超過預訓練的最大時間 RoPE id,從而釋放模型有限 RoPE 約束並彌合訓練-測試 RoPE 外推差距。在長影片和短影片生成實驗中,Echo-Infinity 達到最先進的性能,並首次展示了有前景的24小時(超過130萬幀)即時推演,為無限影片生成提供了實用路徑。

來源:Hugging Face / 論文來源