Devotd Github
发布通用本地引擎

ggml-org/llama.cpp 2026-10-25 更新汇总:后端内核与服务器安全措施

汇总了 2026-10-25 KST 公开的 13 个 llama.cpp 构建(b11857~b11877),涵盖后端内核新增以及模型与服务器方面的修正。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 132.3K
复刻
24.8K
语言
C++
许可证
MIT
最新版本
2026年10月26日
查看原始来源 ↗在 GitHub 查看 ↗

截至 2026-10-25 KST,ggml-org/llama.cpp 共公开了 13 个构建(b11857~b11877)。这一批只包含发布版本,变化大致分为两条线:一边是后端内核与模型支持的扩展,另一边是服务器与 RPC 路径的安全措施。

OpenCL 新增了 Q2_K 量化下的矩阵/向量运算与分块矩阵乘法,以及面向 Adreno 的 GEMM/GEMV 路径(b11873)。随后加入了 top-k 选择运算和 lightning indexer(b11874);Hexagon 则在多核 flash attention 中按 KV head 划分工作组,使剩余核心也能参与计算(b11868)。Vulkan 修复了在 16 方向子组设备(Mali)上 warp tile 会覆盖相邻 tile 列的错误(b11876),并扩大了三维卷积的分块尺寸(仅限 coopmat2 路径)(b11877)。b11857 让间接矩阵乘法可以在指定索引 -1 时跳过相应计算,b11875 则把 Hexagon 的维度归约与重排泛化,使其统一适用于一元、二元和矩阵乘法运算。

模型方面,混合专家(MoE)路径的一致性得到了完善。b11858 会在最大归约包裹整行、无法按轴切分计算的架构上拒绝张量运算切分;b11861 修复了 MiniMax M3 每个专家的 NVFP4 缩放因子与每个张量的 MXFP8 缩放因子未传递到计算图的问题。服务器方面,b11871 在请求 JSON 嵌套深度超过 128 层时以 400 错误拒绝请求,堵住了服务器因栈溢出而崩溃的路径;b11865 在 RPC 接收路径中加入范围检查,阻止缓冲区之外的读取。b11867 将服务器执行入口重构为带有角色区分的结构,b11860 修正了此前在大批量大小下失败的上下文测试的验证流程。

不过这一批并未同时给出性能测量数据。面向 Adreno 的 Q2_K 内核调优与 Hexagon 的工作组划分在实际吞吐量上究竟相差多少,没有数字就难以判断。如果环境会直接采用单个构建,那么值得先确认会改变行为的 b11873 的 Q2_K 路径和 b11871 的嵌套深度限制。

同领域的其他项目

通用本地引擎 →