Devotd Github
发布通用本地引擎

ggml-org/llama.cpp 2026-10-21 更新汇总:后端运算修正与服务器功能扩展

2026 年 10 月 21 日韩国时间的一天内,llama.cpp 从 b11757 到 b11796 共发布了 26 个构建,汇集了加速器后端运算修正、服务器功能扩展以及多模态校正。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 131.9K
复刻
24.6K
语言
C++
许可证
MIT
最新版本
2026年10月21日
查看原始来源 ↗在 GitHub 查看 ↗

llama.cpp 是用 C/C++ 编写的大语言模型推理引擎。2026 年 10 月 21 日韩国时间的一天内,从 b11757 到 b11796 共发布了 26 个构建,没有单独统计的提交合集。这一批构建的主题有三个:CUDA 与 HIP、OpenCL、SYCL、Metal 等加速器后端的运算错误修正,服务器功能扩展,以及多模态处理的校正。

后端方面,出现的修正包括 CUDA 图清理(b11757)、64 无法整除的 tile 宽度的归约错误(b11760)、NEON 的 fp32→fp16 转换选择(b11761)、面向小批量的 OpenCL 矩阵乘变体以及 dp4a 的加入(b11763、b11789)、SYCL flash attention 冲突修复(b11788)、Metal GPU capture 路径的内存泄漏(b11791),以及 Hexagon 重打包的 NEON 向量化(b11790)。服务器方面加入了实时转写 API 与 WebSocket 代理(b11780)、用于语音合成的 POST /tts(b11781)、投机解码路径中的 logprobs 返回(b11776)、/v1/messages 采样设置透传(b11795),以及客户端连接终止传播的修复(b11769)。多模态方面,从 GGUF 元数据读取 LFM2 tiling 参数(b11767),并把 tile 截断与批次构成与 Python transformer 实现保持一致(b11774)。同时还包含按 expert token 缩放 MoE down projection(b11785)以及优化词表加载(b11793)的改动。

不过,判断的局限在于数字。这些构建主要是正确性修正,但发布说明中没有给出速度提升幅度或质量指标。OpenCL、SYCL、Hexagon 路径实际能快多少,仅凭公开信息无法得知。另外,一天的改动中同时带来了转写和 /tts 这样的新 API 以及判断模型支持(H2O-Lightning-4B,b11773),因此要先试什么,需要按每个构建的目的来判断。

同领域的其他项目

通用本地引擎 →