github.devotd.
发布通用本地引擎

ggml-org/llama.cpp b11784 — 修复 SYCL iq3 量化冲突

llama.cpp 构建 b11784 是一次修复了 SYCL 目标上 iq3 量化中出现的冲突的发布。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 131.9K
复刻
24.6K
语言
C++
许可证
MIT
最新版本
2026年10月21日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 的新构建 b11784 已发布。该仓库是用 C/C++ 实现的 LLM 推理项目,这次构建修复了 SYCL 目标上 iq3 量化中一直出现的冲突。发布以 GitHub 上的 ggml-org/llama.cpp b11784 发布标签形式进行,发布日期为 2026 年 10 月 21 日。发布标注用的是构建号,而不是语义化版本名称。

SYCL 是一套标准 API,可以让同一份源码在多种 GPU 上运行。iq3 是一种量化格式,用较低的比特精度压缩权重,以减少内存占用。这次修正动手的地方正是这条 SYCL 路径上的 iq3 量化一侧。仓库简介只有一行 'LLM inference in C/C++',目前的星标数为 131873 个。

不过,b11784 发布说明披露的内容只有这一处冲突修复。究竟是哪条代码路径上出现了什么冲突、修好之后性能如何都没有给出,性能数据、测试结果和许可证信息也都没有出现在本次资料中。SYCL 以外的路径是否也受到影响同样没有得到确认。因此,对于使用 SYCL 运行 iq3 量化的环境,这是值得验证的改动;但对于使用其他加速器的用户,还很难断言这是可以期待的改进。

同领域的其他项目

通用本地引擎 →