llama.cpp 支援 IBM Granite 多語言嵌入模型 R2
GitHub 發布 llama.cpp 版本 b9481,官方公告表示此次更新主要增加了對 IBM Granite multilingual embeddings R2 模型的支援。具體而言,為 granite-embedding-97m-multilingual-r2 和 granite-embedding-311m-multilingual-r2 兩款模型引入了新的分詞器調整,其中 97m 模型使用了修正正則表達式的 gpt4o 分詞器版本,而 311m 模型則重用了 gemma4 分詞器。此外,技術層面新增了 SwiGLU FFN 支援,並在代碼中集中了隱藏層激活函數的映射,提升了模型處理的效率。發布內容還包括適用於多個操作系統的二進制文件下載,如 macOS、Linux、Android 和 Windows,覆蓋各種硬件架構。這一更新有助於開發者更便捷地在多語言環境中應用嵌入模型。
來源
來源:GitHub Release
- GitHub Releaseb9481