ggml-org/llama.cpp 是一个以 C/C++ 实现的 LLM 推理项目。b12122 版本新增了一条 MMQ 路径,将 NVFP4 下的 CUDA 门控运算、上投影矩阵乘法与门控线性运算融合在一起。同时也涵盖 W4A4 与 W4A8,以及稠密/稀疏混合专家路径。本次更新的具体变更已公布在 GitHub 的 b12122 版本说明中。
本次版本的核心在于把 NVFP4 下的三个运算融合为一条 MMQ 路径,并同时涵盖 W4A4、W4A8 与稠密/稀疏混合专家路径。与该变更相关的公开测量报告了包括 DGX Spark 和 RTX 5090 在内的多种设备上的逐模型吞吐量提升。因此测量结果并非局限于单台设备的报告,而是覆盖多种设备与模型的结果。不过,所提供的信息并未具体说明各模型或测量条件。
公开测量所针对的是相关变更,这一点在解读时很重要。现有信息并未提供依据来断定吞吐量提升仅由 b12122 的 NVFP4 MMQ 融合路径带来。逐模型提升的幅度在公开信息中也没有。因此不应将这一结果理解为在所有模型或设备上都会出现同样的改进。版本说明能够确认的范围,仅限于关于相关变更在多种设备上带来逐模型吞吐量提升的报告,而在个别环境中的收益仅凭这些信息难以判断。