Devotd Github
新着推論・サービング

mikealanni/gufo — AMD Strix Halo 向け GPU・NPU 推論エンジン

mikealanni/gufo は AMD Strix Halo で GPU と XDNA2 NPU を併用するローカル推論エンジンである。

リポジトリ情報mikealanni/gufo ↗

mikealanni/gufo は AMD Strix Halo で GPU と XDNA2 NPU を併用するローカル推論エンジンである。

GitHub の説明: GPU + XDNA2 NPU inference for AMD Strix Halo (gfx1151): Qwen3.6-35B-A3B, Qwen3.8-27B and Qwen3.8 Flash-Next. NPU prefill +9% to +28%, MTP / DFlash2 / auto speculative decoding up to 159 tok/s on structured text.

スター
★ 67
フォーク
7
言語
C++
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

mikealanni/gufo は AMD Strix Halo(gfx1151) で GPU と XDNA2 NPU を併用するローカル推論エンジンである。プロンプト処理の一部を二つのデバイスに分担し、次のトークンを先に生成して検証する投機的デコード(speculative decoding)に対応する。リポジトリの説明には Qwen3.6-35B-A3B、Qwen3.8-27B、Qwen3.8 Flash-Next が挙げられている。C++ で書かれ、MIT ライセンスを採用している。

このプロジェクトの特徴は、グラフィックス処理ユニットと NPU を併用してプロンプト処理とトークン生成の高速化を図ることにある。README の要約では、NPU を利用したプリフィルの高速化は任意であり、MTP・DFlash2・自動選択の方式による投機的デコードを提供すると説明している。プロジェクトに記録された結果では、NPU プリフィルの速度向上幅は 9% から 28% で、構造化テキストにおける投機的デコードの速度は最大 159 tok/s である。別途、 Laguna S 2.1(118B MoE) への対応、1,145 から 1,277 tok/s へのプリフィルの変化、DFlash ドラフト使用時の 44~45 tok/s が紹介されている。モデル別の実行経路や品質への影響、測定方法も文書化されている。

これらの数値は AMD Strix Halo 環境や構造化テキストなど、明記された条件に限って読むべきであり、他のハードウェアや作業でも同じ速度が出ると判断できる根拠は与えられた資料にない。登録されている最新リリース情報も存在しない。したがってこの記録は当該デバイスにおける実装と測定結果を示すが、汎用的な性能比較へと広げるには範囲が狭い。