X-Stream：探索 MLLMs 作為多串流理解的多工器

在 HuggingFace 上發布的研究論文中，提出了名為 X-Stream 的基準測試，這是首個專門針對多串流串流理解的評估框架。該研究涵蓋了 4,220 個經過嚴格策劃的問答對，基於 932 個影片，評估多窗口、多視角和多設備場景下的 11 個子任務。論文創新性地將多模態大型語言模型（MLLMs）概念化為本質多工器，並從信號多工理論的角度系統性地評估其性能。通過大量的線上推理實驗，研究揭示了當前最前沿的 MLLMs 在處理並行串流時面臨顯著挑戰，平均得分僅約 50%，且主動能力不足。這暴露了現有多工方案在效率與準確性之間的權衡問題，為下一代多串流代理的開發提供了實用的評估協議和實證指導。