基于 C/C++ 的 LLM 推理项目 ggml-org/llama.cpp 于 2026 年 11 月 8 日发布了 b12202。本次发布将参考实现中原本不以 32 位浮点数计算的部分运算改为 bfloat16 精度。变更内容已在发布页面上公开。该变更并非统一改动整个推理路径,而是按发布摘要所指定的运算逐项进行的精度调整。
调整对象是 GLM4 系列的下投影和输出投影、MiMoVL 的视觉矩阵运算、Qwen3-TTS 说话人编码器的卷积。也就是说,本次变更在三个系列中分别指定了不同的运算来调整精度。发布摘要分别将 GLM4 的两项投影运算、MiMoVL 的视觉矩阵运算和 Qwen3-TTS 的说话人编码器卷积列为变更对象。变更的核心在于把这些运算改为以 bfloat16 精度计算。
不过,精度变更并未应用于所有运算。DeepSeek V4/V4.1 的路由器和 MiniMax-M3 的索引器仍保持 32 位。公开的变更信息说明了哪些运算发生了变化、哪些被保留,但没有给出区分精度的原因,也没有说明对速度和准确率的影响。因此,本次发布中能够确认的只是指定运算的精度配置发生了变化,其效果仅凭公开信息难以判断。