Devotd Github
リリース汎用ローカルエンジン

ggml-org/llama.cpp 2026-10-25 Updatesまとめ: バックエンドカーネルとサーバー保護策

2026-10-25 KST に公開された llama.cpp ビルド 13 件(b11857~b11877)について、バックエンドカーネルの追加とモデル・サーバー側の修正を 1 ページにまとめた。

リポジトリ情報ggml-org/llama.cpp ↗

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

GitHub の説明: LLM inference in C/C++

スター
★ 132.3K
フォーク
24.8K
言語
C++
ライセンス
MIT
最新リリース
2026年10月26日
原文を見る ↗GitHub で見る ↗

2026-10-25 KST 時点で ggml-org/llama.cpp はビルド 13 件(b11857~b11877)を公開した。今回のまとまりに含まれるのはリリースのみで、変更は大きく 2 系統に分かれる。バックエンドカーネルとモデルサポートの拡張が片方、サーバーと RPC パスの保護策がもう片方である。

OpenCL には Q2_K 量子化の行列・ベクトル演算とタイル型行列乗算、Adreno 向けの GEMM/GEMV パスが追加された(b11873)。続いて top-k 選択演算と lightning indexer が組み込まれ(b11874)、Hexagon はマルチコアの flash attention に KV ヘッド単位のチーム分割を入れて、コアが残る場合にも参加できるようにした(b11868)。Vulkan は 16 方向サブグループデバイス(Mali)で warp tile が隣のタイルの列を上書きしていた不具合を修正し(b11876)、coopmat2 パスに限り 3D 畳み込みのタイルサイズを拡大した(b11877)。b11857 は間接行列乗算でインデックス -1 を指定して該当の計算をスキップできるようにし、b11875 は Hexagon の次元削減・並べ替えを単項・二項・行列乗算演算に共通適用できるよう一般化した。

モデル側では混合専門家(MoE)パスの整合性が整えられた。b11858 は、最大値リダクションが行全体を覆い軸基準の分割では計算できないアーキテクチャでテンソル演算の分割を拒否し、b11861 は MiniMax M3 の専門家ごとの NVFP4 スケールとテンソルごとの MXFP8 スケールが計算グラフに渡されなかった問題を修正した。サーバー側では b11871 がリクエスト JSON のネスト深度が 128 段を超えた場合に 400 エラーで拒否し、スタックオーバーフローでサーバーが落ちる経路を塞ぎ、b11865 は RPC 受信パスに範囲検査を加えてバッファ外読み取りを遮断した。b11867 はサーバー実行のエントリーポイントを役割分担のある構成へリファクタリングし、b11860 は大きなバッチサイズで失敗していたコンテキストテストの検証手順を正した。

ただしこのまとまりには性能計測値が併せて示されていない。Adreno 向け Q2_K カーネルの調整と Hexagon のチーム分割が実処理量でどれだけ差なのかは、数字がないため判断がつかない。個別のビルドをすぐ取り込む環境なら、動作を変える項目である b11873 の Q2_K パスと b11871 のネスト深度制限を先に確認する価値がある。

同じ分野の他のプロジェクト

汎用ローカルエンジン →