Devotd Github
发布通用本地引擎

ggml-org/llama.cpp 2026-11-07 更新汇总:后端内核与槽位调度

汇总 ggml-org/llama.cpp 2026 年 11 月 7 日这一批(b12173~b12189 共 8 个发布)带来的后端内核增强与服务器槽位处理顺序变更。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 133.6K
复刻
25.2K
语言
C++
许可证
MIT
最新版本
2026年11月7日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 是一个用 C/C++ 实现 LLM 推理的仓库,已收获 133629 个 star,2026 年 11 月 7 日这批更新包含从 b12173 到 b12189 的 8 个发布。本批次的重点是多个后端的内核增强以及服务器槽位处理顺序的变更。

首先,可用的运算支持变多了。OpenCL 后端在 b12173 中支持了 f16、i32、i16、bf16 数据类型的 repeat 运算,并在 b12183 中新增了 arange 运算。WebGPU 在 b12187 中加入了 group norm 内核,Metal 则在 b12189 中修正了 GROUP_NORM 在批维度(ne03)大于 1 或输入非连续时的情况。b12186 为 Vulkan 的 decodeBuf 声明添加了 readonly 标记,b12188 则调整了顺序,使服务器先访问父槽位而不是等待中的子槽位。除此之外,b12182 提高了张量较少的缓冲区的计算视图上限,并把 DeepSeek 4.1 测试模型回退为 6 层;b12174 则改为由 CMake 在没有模板输入文件的情况下直接生成 Windows 资源文件。

不过,每个版本所包含的改动大多只限于一两个内核,或构建与测试路径。b12186 只提到性能收益预计将在未来的驱动版本中体现,并没有给出测量数据,也没有提供性能或用户指标。换句话说,这批更新更像是持续逐项扩展特定后端可用运算种类的工作,而要判断究竟快了多少,还需要各后端自行测量。

同领域的其他项目

通用本地引擎 →