ggml-org/llama.cpp 是使用 C/C++ 执行 LLM 推理的代码仓库。在 2026 年 10 月 29 日发布的 b11985 版本中,Metal 的 MXFP4 矩阵-向量内核以及部分运算的执行方式发生了变化。本文基于该仓库的 b11985 版本记录。
根据版本摘要,MXFP4 矩阵-向量内核现在采用 FP16 位技术展开数值,因此不再使用线程组内存。一元运算、二元运算和 GLU 行被改为拆分成更大的线程组执行。前一项变更关乎内存的使用方式,后一项变更关乎拆分运算时的块大小。本次更新的范围是 Metal 处理该内核与这些运算的方式。摘要未详细说明具体的处理过程,也未说明用户可见的功能变化。
所提供的版本摘要中没有对比处理时间、吞吐量或内存使用量的数值。因此,仅凭这些信息无法判断不再使用线程组内存的变更,或采用更大块拆分的方式,会对性能产生怎样的影响。此外,摘要只涉及 Metal 的变更,并未说明其他后端是否也有变更。b11985 中可以确认的是 Metal 路径上运算方式的变更,其效果大小无法依据现有事实确定。