Devotd Github
リリース汎用ローカルエンジン

ggml-org/llama.cpp 2026-10-29 Updatesまとめ: SYCL・ヘキサゴンカーネルの改善

2026-10-29 KST に公開された llama.cpp ビルド 9 件(b11963~b11982)について、SYCL・ヘキサゴン加速パスの改善を中心に、OpenCL・OpenVINO の修正も加えて 1 ページにまとめた。

リポジトリ情報ggml-org/llama.cpp ↗

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

GitHub の説明: LLM inference in C/C++

スター
★ 132.7K
フォーク
24.9K
言語
C++
ライセンス
MIT
最新リリース
2026年10月29日
原文を見る ↗GitHub で見る ↗

ggml-org/llama.cpp は C/C++ で書かれたローカル LLM 推論エンジンである。2026-10-29 KST の 1 日のうちに b11963 から b11982 までビルド 9 件が公開され、単独のコミットまとまりは集計されなかった。内容は SYCL とヘキサゴン(Hexagon) バックエンドの演算最適化が中心で、続いて Adreno 向けの OpenCL パス追加と不具合修正が続く。

最も目を引くのは SYCL 側の 3 件である。b11963 は短い TOP_K 行にワークグループ argmax(行内で最大値を探す演算)を適用し、既存のパスとは異なる計算方式を導入した。リリースノートには Arc Pro B70 と oneAPI 2026.1 で複数の行サイズと k 値を比較した性能表が載っている。b11979 は再配置レイアウトの量子化解除と保存をベクトル演算へ切り替え、Q4_0 と K 量子系列のスループットを高めた。b11980 は q4_0・q8_0 の key cache で直接走る flash attention(key と value を組み合わせて Attention Score を計算する方式)カーネルを追加し、デコードとクエリトークン 1~31 個の小バッチを処理する。

ヘキサゴンバックエンドでは、b11981 が転置結合(CONCAT)の DDR 帯域幅利用率を高め、行のまとまりサイズを 2 倍に拡大してバッファのスクラッチ領域を広げた。b11982 は UPSCALE 演算を新しく 지원し、最近傍 2 倍・4 倍補間とバイリニア 4 倍拡大を整備した。Adreno の OpenCL 側には b11971 がタイル型の q4_k 行列乗算パスを追加し、バッチが 1 より大きいときに言語モデルの出力層がタイル演算を使うようにした。そのほか b11966 は s390x の継続的インテグレーションランナーを Ubuntu 26.04 に変更し、b11977 は OpenVINO SCALE が行間隔のあるビュー入力に元のテンソル全体を掛け、結果バッファをオーバーフローさせる不具合を修正し、b11978 は CUDA グラフの予約余裕に関する計算テストを正した。

ただし、その 1 日の変更の大半は特定バックエンド向けの細かな最適化に留まる。b11963 の性能比較では一部条件で従来より遅くなる結果も併せて示されており、b11980 のカーネルはデコードと小バッチでのみ使われ、V.P 演算は f16 のまま維持される。b11982 の UPSCALE カーネルも完全にベクトル化されたものではない。全体のスループット数値はリリースノートにないため、実際の効果がどの程度かはまだ判断がつかない。

同じ分野の他のプロジェクト

汎用ローカルエンジン →