ggml-org/llama.cpp 是用 C/C++ 运行 LLM 推理的仓库。2026 年 10 月 30 日，从 b11986 到 b12008 一共发布了 8 个构建，且没有出现提交爆发。这一组构建的主题分为三条。一是向 OpenCL 后端加入 2 位量化类型（iq2、q2_0），以构建 Adreno GPU 路径；二是围绕张量复制和键值缓存轮转的内存与状态管理整理；三是诸如 SYCL 后端错误修复、推理预算终止条件之类的行为变更。
量化是用更少的比特压缩权重，从而减少模型占用的内存和读取带宽。b11986 为 OpenCL 加入了 iq2，b12005 加入了 q2_0，这两个构建都同时带入了面向 Adreno 的向量-矩阵乘路径、整数运算（dp4a）路径以及窄分组优化。内存方面，b11997 改为复用张量暂存缓冲区，并跳过直接输入/输出的中间缓冲区；b12002 在 ggml 中新加入批量张量复制 API，并将其应用到上下文输入/输出。b12008 调整了顺序，使 gemma3n 和 gemma4 中绑定的输出层先引用 token_embd，纯 CPU 运行时的模型缓冲区因此从 3163.73 MiB 降到 2947.73 MiB。b12007 包含让键值缓存（KV cache）的轮转常量留在 GPU 上的改动，以及按层轮转缓冲区的支持。
不过 OpenCL 一侧以“初步支持”的标注起步，其加速路径以 Adreno 设备为前提。b12007 的说明提到，跨多个设备的 KV 轮转工作仍然存在。发布说明中没有性能数据，因此无法知道这些变化带来了多大提速。b12003 的 SYCL 修正是修复 FLASH_ATTN_EXT 运算失败的补丁，b12004 则只在提示词结束标签处强制终止推理预算。总的来说，这一组构建更接近于内存节省与 GPU 状态管理的基础性工作。在看到具体数字之前，判断提速幅度还为时过早。