FRAPPE自動編碼框架提出

研究論文提出了一種名為FRAPPE的新型自編碼框架，旨在解決現有媒體壓縮標準的限制。傳統媒體壓縮在率失真複雜度權衡上已達瓶頸，限制了在機器人、穿戴設備和遙感等應用中將昂貴的AI感知卸載到雲端的能力。基於深度神經網絡的編解碼器雖然提高了壓縮效率，但難以適應比特率大幅變化，且實時編碼需要昂貴的GPU，不適用於低成本或資源受限平台。為應對這些挑戰，FRAPPE使用完整輸入通過投影追求編碼器預測殘差輸出，其編碼目標自然地將潛在通道按重要性排序，實現零開銷的變速率編碼。與基於RNN的學習編解碼器或RVQ風格編解碼器不同，FRAPPE的分析路徑是一個易於並行處理的DAG結構。論文作者構建了FRAPPE-Image變速率RGB圖像編解碼器，並在高壓縮比下評估其性能，結果顯示在約0.1 bpp時，FRAPPE-Image提供比AVIF更高的感知質量，且編碼速度快47倍，支持1080p 30fps的實時CPU編碼。相關代碼和預訓練模型已在GitHub上發布。