Netflix 工程師開發 Headroom 軟件削減 AI 費用並開源

媒體報導指出，Netflix 資深工程師 Tejas Chopra 近期開發了一款名為 Headroom 的開源應用，專門用於壓縮大型語言模型（LLM）的 token 使用量，以解決企業在 AI 應用中面臨的高昂費用問題。根據 Chopra 在開源峰會的演講內容，他最初因一張 287 美元的 Claude Sonnet 賬單意識到 token 冗餘的嚴重性，發現多數數據如 JSON 模板和日誌其實是可壓縮的。Headroom 作為一個代理程式，運行在工程師的電腦上，能自動壓縮上下文窗口中的輸入，包括伺服器日誌、工具輸出和文件等，估計可減少多達 90% 的冗餘 token。該軟體透過 CacheAligner 和各種壓縮器來實現無損壓縮，並允許 LLM 檢索原始數據。自今年一月開源以來，Headroom 在 GitHub 上獲得超過 2000 顆星，並已被 Netflix 內部多個團隊及外部項目採用，累計為使用者節省約 70 萬美元費用。Chopra 強調，該工具特別適合那些受 token 成本困擾的開發者，並鼓勵社群參與改進。