Devotd Github
发布通用本地引擎

ggml-org/llama.cpp b12202 — 将部分参考实现改为 bfloat16 精度

ggml-org/llama.cpp b12202 将部分参考实现运算改为 bfloat16 精度,而 DeepSeek V4/V4.1 路由器和 MiniMax-M3 索引器仍保持 32 位。

仓库信息ggml-org/llama.cpp ↗

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

GitHub 项目说明: LLM inference in C/C++

星标
★ 133.8K
复刻
25.3K
语言
C++
许可证
MIT
最新版本
2026年11月9日
查看原始来源 ↗在 GitHub 查看 ↗

基于 C/C++ 的 LLM 推理项目 ggml-org/llama.cpp 于 2026 年 11 月 8 日发布了 b12202。本次发布将参考实现中原本不以 32 位浮点数计算的部分运算改为 bfloat16 精度。变更内容已在发布页面上公开。该变更并非统一改动整个推理路径,而是按发布摘要所指定的运算逐项进行的精度调整。

调整对象是 GLM4 系列的下投影和输出投影、MiMoVL 的视觉矩阵运算、Qwen3-TTS 说话人编码器的卷积。也就是说,本次变更在三个系列中分别指定了不同的运算来调整精度。发布摘要分别将 GLM4 的两项投影运算、MiMoVL 的视觉矩阵运算和 Qwen3-TTS 的说话人编码器卷积列为变更对象。变更的核心在于把这些运算改为以 bfloat16 精度计算。

不过,精度变更并未应用于所有运算。DeepSeek V4/V4.1 的路由器和 MiniMax-M3 的索引器仍保持 32 位。公开的变更信息说明了哪些运算发生了变化、哪些被保留,但没有给出区分精度的原因,也没有说明对速度和准确率的影响。因此,本次发布中能够确认的只是指定运算的精度配置发生了变化,其效果仅凭公开信息难以判断。

同领域的其他项目

通用本地引擎 →