Devotd Github
リリース汎用ローカルエンジン

ggml-org/llama.cpp b12000 — OCP FP8 E4M3 量子化サポートの追加

ggml-org/llama.cpp b12000 は、OCP FP8 E4M3 の量子化サポートを追加し、FP8 変換と Python の型チェックを修正したリリースである。

リポジトリ情報ggml-org/llama.cpp ↗

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

GitHub の説明: LLM inference in C/C++

スター
★ 132.8K
フォーク
24.9K
言語
C++
ライセンス
MIT
最新リリース
2026年10月30日
原文を見る ↗GitHub で見る ↗

ggml-org/llama.cpp b12000 は 2026 年 10 月 30 日に公開されたリリースである。リポジトリの説明は、このプロジェクトを C/C++ ベースの LLM 推論用と紹介している。b12000 では OCP FP8 E4M3 の量子化サポートを追加した。リリース説明によると、Python の型チェックを修正し、FP8 変換で入力 scale が反映されるようにし、NVFP4 に誤って変換される問題も是正した。変更内容の出典はリポジトリの b12000 リリース説明である。

今回のリリースは新しい量子化サポートと変換関連の修正を併せて収録している。具体的には OCP FP8 E4M3 をサポート対象に追加し、FP8 変換の過程で入力 scale が反映されるよう変更した。また、変換結果が NVFP4 と誤って出力される問題を修正した。Python の型チェックの修正も含まれる。したがって確認できる変化は、対応形式の追加と変換およびチェック動作の修正であり、それぞれの変更が適用される具体的な経路はリリース説明に示されていない。

提供されたリリース情報には、対応ハードウェアやバックエンド、性能と精度の比較結果がない。入力 scale の反映が実際の結果に与える影響も数値では示されていない。Python の型チェック修正の適用箇所や、NVFP4 変換問題が発生する条件も説明されていない。したがって b12000 で確認できるのは変更項目そのものであり、新しいサポート経路の適用範囲と性能は、この情報のみからは判断しにくい。

同じ分野の他のプロジェクト

汎用ローカルエンジン →