llama.cpp b9433 版本發布:恢復 Metal 大型核心 im2col 實現
GitHub 發布 llama.cpp 項目的 b9433 版本,此次更新的主要內容是恢復了 Metal 圖形 API 中對於大型核心的 im2col 實現,相關修復來自 pull request #23901。據發布說明,這個改進有助於提升特定操作的性能和正確性,尤其是在使用 Metal 進行加速時。版本提供了廣泛的平台支援,包括 macOS 上的 Apple Silicon (arm64) 和 Intel (x64) 版本、iOS 的 XCFramework,以及 Linux 的 Ubuntu 在多種架構(如 x64、arm64、s390x)和後端(Vulkan、ROCm、OpenVINO)下的二進制檔案。Windows 平台同樣提供了 CPU、CUDA 12、CUDA 13、Vulkan、HIP 等版本的下載,其中部分 CUDA 版本附帶必要的 DLL 檔案。此外,Android arm64 CPU 版本也已準備就緒,並有 UI 版本可用。部分平台如 macOS 的 KleidiAI 啟用版本和 SYCL 版本被標記為禁用,openEuler 的多個版本同樣處於禁用狀態。此次發布旨在為開發者和使用者提供更穩定、高效的推理工具,支持各種硬體環境,從而推動 AI 模型的部署和應用。
來源
來源:GitHub Release
- GitHub Releaseb9433