Devotd Github
リリース汎用ローカルエンジン

ggml-org/llama.cpp b11985 — Metal 演算方式の変更

ggml-org/llama.cpp b11985 は、Metal の MXFP4 マトリックス-ベクトルカーネルにおけるスレッドグループメモリの使用をなくし、単項・二項演算と GLU 行をより大きなスレッドグループに分割して実行するようにした。

リポジトリ情報ggml-org/llama.cpp ↗

大規模言語モデルをローカル実行する汎用 C/C++ 推論エンジンです。

GitHub の説明: LLM inference in C/C++

スター
★ 132.8K
フォーク
24.9K
言語
C++
ライセンス
MIT
最新リリース
2026年10月30日
原文を見る ↗GitHub で見る ↗

ggml-org/llama.cpp は C/C++ で LLM 推論を行うリポジトリである。2026 年 10 月 29 日に公開された b11985 リリースにおいて、Metal の MXFP4 マトリックス-ベクトルカーネルと一部の演算の実行方式が変更された。この内容はリポジトリの b11985 リリース記録に基づいている。

リリース概要によると、MXFP4 マトリックス-ベクトルカーネルは FP16 ビット手法で値を展開することで、スレッドグループメモリを使用しないようになった。単項演算と二項演算、および GLU 行は、より大きなスレッドグループに分割して実行するように変更された。前者はメモリの使用方法に関する変更であり、後者は演算を分割する大きさに関する変更である。今回の更新の範囲は、Metal におけるこのカーネルと演算の処理方法である。概要は具体的な処理過程やユーザーから見える機能上の変化まで明かしてはいない。

提供されたリリース概要には、処理時間・スループット・メモリ使用量を比較した数値はない。したがって、スレッドグループメモリを使用しない変更や、より大きなグループに分割する方式が性能に与える影響を、この情報だけから判断することはできない。また概要は Metal の変更を扱っており、他のバックエンドに変更があるかどうかは示していない。b11985 で確認できるのは Metal パスにおける演算方式の変更であり、その効果の大きさは与えられた事実から確定できない。

同じ分野の他のプロジェクト

汎用ローカルエンジン →