Devotd Github
リリース汎用ローカルエンジン

ggml-org/llama.cpp b12202 — 参照実装の一部を bfloat16 精度に変更

ggml-org/llama.cpp b12202 は一部の参照実装の演算を bfloat16 精度に変更し、DeepSeek V4/V4.1 のルーターと MiniMax-M3 のインデクサは 32 ビットを維持している。

リポジトリ情報ggml-org/llama.cpp ↗

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

GitHub の説明: LLM inference in C/C++

スター
★ 133.8K
フォーク
25.3K
言語
C++
ライセンス
MIT
最新リリース
2026年11月9日
原文を見る ↗GitHub で見る ↗

C/C++ ベースの LLM 推論プロジェクト ggml-org/llama.cpp が 2026 年 11 月 8 日に b12202 を公開した。今回のリリースでは、参照実装のうち 32 ビット浮動小数点数で計算していなかった一部の演算を bfloat16 精度に変更している。変更内容はリリースページで公開されている。この変更は推論パス全体をまとめて書き換えるものではなく、リリース要約で指定された演算ごとの精度調整である。

対象は GLM4 系のダウン投影と出力投影、MiMoVL の視覚行列演算、Qwen3-TTS のスピーカエンコーダの畳み込みである。つまり今回の変更では、3 つの系列でそれぞれ別の演算を指定して精度を調整した。リリース要約は GLM4 の 2 つの投影演算、MiMoVL の視覚行列演算、Qwen3-TTS のスピーカエンコーダの畳み込みをそれぞれ変更対象として明示している。変更の核心は、これらの演算を bfloat16 精度で計算するように変えた点である。

ただし、精度変更はすべての演算に適用されたわけではない。DeepSeek V4/V4.1 のルーターと MiniMax-M3 のインデクサは 32 ビットを維持する。公開された変更情報は、どの演算が変わり何が維持されたかまで示すが、精度を分けた理由や速度・正確性への影響については示していない。したがって、今回のリリースで確認できるのは、指定された演算の精度配置が変わったという点であり、その効果は公開情報だけでは判断しにくい。

同じ分野の他のプロジェクト

汎用ローカルエンジン →