返回事件流

ggml 新增 LoongArch LSX 支援並發布新版二進位檔案

GitHub 發布的 ggml b9430 版本帶來了多項重要更新。首先,針對 LoongArch 架構,官方新增了 LSX 支援,具體包括使用 __lsx_vfcvtl_s_h 和 __lsx_vfcvt_h_s 本徵函數來優化 fp16 數據的載入與儲存過程,這取代了傳統的純量迴圈,提升了性能。同時,為常見的量化格式如 q8_0、q6_K 和 iq4_xs 添加了基於 LSX 的點積實現,有助於加速模型推理。此外,還改進了歸約操作,當處理 int16 對時能更有效地合併為 int32。此次發布還附帶了全面的二進位檔案,支援多種作業系統和硬體平台:在 macOS 和 iOS 方面,提供了 Apple Silicon 和 Intel 版本,但 KleidiAI 支援被停用;Linux 版本涵蓋了 Ubuntu 的 x64、arm64、s390x 架構,並包括 Vulkan、ROCm 7.2 和 OpenVINO 加速選項,而 SYCL 版本處於停用狀態;Android 提供了 arm64 CPU 版本;Windows 則有 CPU、CUDA 12、CUDA 13、Vulkan 和 HIP 等多種變體,同樣 SYCL 版本停用。openEuler 平台的版本也被停用。此外,還提供了 UI 介面。這些更新展示了 ggml 持續優化跨平台效能與支援的努力。

來源

來源:GitHub Release