llama.cpp 是用 C/C++ 编写的大语言模型推理引擎。2026 年 10 月 21 日韩国时间的一天内,从 b11757 到 b11796 共发布了 26 个构建,没有单独统计的提交合集。这一批构建的主题有三个:CUDA 与 HIP、OpenCL、SYCL、Metal 等加速器后端的运算错误修正,服务器功能扩展,以及多模态处理的校正。
后端方面,出现的修正包括 CUDA 图清理(b11757)、64 无法整除的 tile 宽度的归约错误(b11760)、NEON 的 fp32→fp16 转换选择(b11761)、面向小批量的 OpenCL 矩阵乘变体以及 dp4a 的加入(b11763、b11789)、SYCL flash attention 冲突修复(b11788)、Metal GPU capture 路径的内存泄漏(b11791),以及 Hexagon 重打包的 NEON 向量化(b11790)。服务器方面加入了实时转写 API 与 WebSocket 代理(b11780)、用于语音合成的 POST /tts(b11781)、投机解码路径中的 logprobs 返回(b11776)、/v1/messages 采样设置透传(b11795),以及客户端连接终止传播的修复(b11769)。多模态方面,从 GGUF 元数据读取 LFM2 tiling 参数(b11767),并把 tile 截断与批次构成与 Python transformer 实现保持一致(b11774)。同时还包含按 expert token 缩放 MoE down projection(b11785)以及优化词表加载(b11793)的改动。
不过,判断的局限在于数字。这些构建主要是正确性修正,但发布说明中没有给出速度提升幅度或质量指标。OpenCL、SYCL、Hexagon 路径实际能快多少,仅凭公开信息无法得知。另外,一天的改动中同时带来了转写和 /tts 这样的新 API 以及判断模型支持(H2O-Lightning-4B,b11773),因此要先试什么,需要按每个构建的目的来判断。