Devotd Github
リリース汎用ローカルエンジン

ggml-org/llama.cpp b11866 — Metal MoE 演算パスの変更

ggml-org/llama.cpp b11866 は、Metal バックエンドの混合専門家の行列演算から最大値の再スケーリングと関連ステップを取り除いたビルドである。

リポジトリ情報ggml-org/llama.cpp ↗

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

GitHub の説明: LLM inference in C/C++

スター
★ 132.3K
フォーク
24.8K
言語
C++
ライセンス
MIT
最新リリース
2026年10月25日
原文を見る ↗GitHub で見る ↗

ggml-org/llama.cpp b11866 は、C/C++ を基盤とする LLM 推論プロジェクト llama.cpp の新しいビルドである。2026 年 10 月 24 日に公開された今回のバージョンでは、Metal バックエンドの混合専門家の行列演算から最大値の再スケーリングが削除された。変更内容は b11866 のリリース情報に記録されている。演算グラフでは、エキスパートごとのトークン単位の処理方式に置き換えられた。それに伴い、一時バッファと二段階の縮小カーネルも削除された。

今回の変更の範囲は、混合専門家の行列演算の処理パスである。従来の最大値の再スケーリングが削除され、演算グラフではエキスパートごとのトークン単位の処理に変わった。リリース情報に明記されている変更は、一時バッファと、2 段階で行われていた縮小カーネルの削除である。したがって確認できるのは演算パスと構成要素の変更であり、新しい推論機能が追加されたとする説明は与えられた情報には存在しない。プロジェクト自体については、C/C++ で LLM 推論を行うという説明のみが提供されている。

提供されたリリース情報には性能指標も、検証に使用されたモデルの記載もない。そのため、この変更によって処理速度やメモリ使用量がどれだけ変わるかは判断できない。公開されている事実として述べできるのは、Metal バックエンドにおいて当該演算の最大値の再スケーリング、一時バッファ、二段階の縮小カーネルが削除されたというところまでである。性能が改善したかどうかは、別の計測情報があれば判断できる。

リリース

niko1221/strata v0.2.2 — グラフィックスカードの Gyro 対応と RX 6000 エンジンパッケージ

コンシューマーハードウェアで Qwen3.8-Flash-Next を実行する Strata の v0.2.2 には、Intel Arc と Mac のグラフィックスカードにおける Gyro 対応、NVIDIA カードでの Gyro 高速化、RX 6000 シリーズ向けエンジンパッケージ、アプリとターミナルのモデルフォルダ共有が含まれた。

同じ分野の他のプロジェクト

汎用ローカルエンジン →