Devotd Github
新着推論・サービング

ben1078/hipfire — RX 7900 XTX 向け MTP デコードのフォーク

ben1078/hipfire は AMD GPU 向けの hipfire フォークで、Qwen3.8-27B の MTP デコード経路とそのブランチでの計測結果を紹介している。

リポジトリ情報ben1078/hipfire ↗

ben1078/hipfire は AMD GPU 向けの hipfire フォークで、Qwen3.8-27B の MTP デコード経路とそのブランチでの計測結果を紹介している。

GitHub の説明: hipfire fork: Qwen3.8-27B MTP decode at ~100 tok/s on one RX 7900 XTX (int8 verify GEMV, WMMA verify attention)

スター
★ 8
フォーク
0
ライセンス
NOASSERTION
原文を見る ↗GitHub で見る ↗

ben1078/hipfire は AMD GPU 向け Rust 推論ツール hipfire のフォークリポジトリである。README は Qwen3.8-27B の MTP デコード作業を扱っており、リポジトリの説明には RX 7900 XTX 1 枚で約 100 tok/s を記録したと記されている。併せて示された変更点は int8 verify GEMV と WMMA verify attention である。これはそれぞれ整数 8 ビット行列-ベクトル演算による検証と、WMMA を用いたアテンション検証経路を指す。

基盤となるツールは、モデルのダウンロードと実行、チャット、サーバ機能を提供する。README は安定版と試験中の次版を区別し、イメージ生成と複数 GPU ファミリー向けの経路も説明している。Redline は記録されたカーネルグラフとリソース依存関係に基づいて検証済みの経路を再生し、失敗条件では通常の HIP 実行に戻る。これらの説明は、デコード性能だけでなく実行経路と失敗時の挙動を扱うプロジェクトであることを示している。

性能の数値は当該フォークブランチでの計測結果である。README も性能表の値が特定の作業と機器に対応し、モデル間の順位ではないと限定している。そのため、約 100 tok/s を公式 hipfire リリースや現在の上流の性能として解釈することはできない。このリポジトリで確認できる範囲は、特定のモデルと AMD GPU で行ったデコード経路であり、より広い性能比較を裏づける資料は示されていない。