返回事件流

llama.cpp 發布 b9436 版本:新增 OpenCL bf16 轉換支援

GitHub 上的 llama.cpp 項目官方發布了新版本 b9436,此次更新的主要亮點是 OpenCL 支持 bf16 數據類型,並通過轉換為 f16 來實現兼容性,旨在提升在支持 OpenCL 的硬件上運行大型語言模型時的性能。發布中包含了多個平台的預編譯二進制文件,涵蓋 macOS(Apple Silicon 和 Intel 架構)、Linux(x64、arm64、s390x 等,支持 Vulkan、ROCm、OpenVINO 等後端)、Android arm64、Windows(CPU、CUDA 12 和 13、Vulkan、HIP 等),以及一個 UI 工具。部分功能如 KleidiAI 和 SYCL 在此次版本中被禁用,整體而言這是一個針對多平台優化的技術性更新。

來源

來源:GitHub Release