Devotd Github
发布通用本地引擎

ggml-org/llama.cpp 2026-11-03 更新汇总:以后端优化为主

将 ggml-org/llama.cpp 2026 年 11 月 3 日的更新按 b12050~b12069 共 10 个构建整理,汇总了 Vulkan、OpenCL、WebGPU、Hexagon 后端的优化,以及 Clover 和 Pocket TTS 支持的加入。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 133.3K
复刻
25.1K
语言
C++
许可证
MIT
最新版本
2026年11月3日
查看原始来源 ↗在 GitHub 查看 ↗

ggml-org/llama.cpp 是一个用 C/C++ 编写的 LLM 推理引擎。2026 年 11 月 3 日共发布了从 b12050 到 b12069 的 10 个构建。当天并没有单独归为一组的提交集合。

最大的主线是针对各硬件后端的运算优化。b12050 改进了 Vulkan 后端中对使用较小尺寸和较少分割数的运算的选择(面向 RDNA3 和 RDNA4);b12069 首次为 OpenCL 路径加入 iq4_xs 量化支持,涵盖了面向 Adreno 的矩阵/向量运算与解码优化。b12064 在 Hexagon 加速器上为轴顺序发生变化的拷贝添加了按 tile 转置的路径,把原本逐元素发出传输描述符的做法改为按组处理。b12066 为 WebGPU 后端添加了范围生成(ARANGE)运算,b12054 则把 ggml-zdnn 改为共享宿主与缓冲区。

模型与功能方面的变更也一并进入。b12060 加入了 Clover 模型支持,包含 GGUF 转换、模型加载和因果混合注意力;b12059 改进了统一键值缓存中处理多个序列的路径。b12061 支持只使用预定义语音、不做语音克隆的 Pocket 语音合成。b12057 简化了 context setter,b12068 则让 GPT-OSS 最后一个通道之后可以指定约束类型。

不过,整理后的发布说明里没有性能数值或基准测试。仅凭这些信息很难判断各项改动实际能带来多少提速,支持范围也仅限于各个后端和单个模型。只有在计划涉及特定硬件或模型时,才值得去查看。

同领域的其他项目

通用本地引擎 →