llama.cpp b9484 版本發布
在 GitHub 上,llama.cpp 項目官方發布了 b9484 版本。此次更新主要針對 OpenCL 進行了技術優化,採用 flat variants 的 q4_K 和 q6_K gemv 以處理非常大的 M 值,提升了性能。同時,發布了適用於多個操作系統和硬件平台的預編譯二進制檔,包括 macOS 的 Apple Silicon 和 Intel 版本、iOS 的 XCFramework、Linux 的 Ubuntu 多架構(支持 Vulkan、ROCm、OpenVINO 等)、Android 的 arm64 版本,以及 Windows 的 CPU、CUDA 12/13、Vulkan、HIP 等版本。部分平台如 openEuler 和某些 SYCL 版本在此次發布中被禁用。此外,還提供了 UI 版本的下載。這項更新使得開發者和用戶能更便捷地部署和運行 llama.cpp 模型。
來源
來源:GitHub Release
- GitHub Releaseb9484