ggml-org/llama.cpp は C/C++ で実装された LLM 推論プロジェクトです。b12122 リリースは、NVFP4 における CUDA ゲート演算・上投影の行列積・ゲート線形演算を融合する MMQ パスを追加しました。W4A4 と W4A8、および密・疎混合エキスパート経路も扱います。今回のアップデートの具体的な変更は、GitHub の b12122 リリースノートで公開されています。
このリリースの核心は、NVFP4 における 3 つの演算を 1 つの MMQ パスに融合し、W4A4・W4A8 と密・疎混合エキスパート経路も併せて扱った点です。関連変更に関する公開の測定では、DGX Spark や RTX 5090 を含む複数デバイスでモデル別のスループット改善が報告されています。したがって測定結果は 1 台に限定された報告ではなく、複数のデバイスとモデルにまたがる結果です。ただし、提供された情報には各モデルや測定条件が具体的に記されていません。
公開の測定が関連変更を対象としていることは、解釈上重要です。スループット改善が b12122 の NVFP4 MMQ 融合パスだけによるものと断定できる根拠は示されていません。モデル別の改善幅も公開情報にはありません。したがってこの結果を、すべてのモデルやデバイスで同じ改善が現れるという意味で読むことはできません。リリースノートが確認できる範囲は、関連変更について複数デバイス・モデル別のスループット改善が報告されていることまでであり、個々の環境での効果はこの情報だけでは判断できません。