Devotd Github
新着推論・サービング

asf0/libstrix — Strix Halo 向け HIP カーネルと vLLM プラグイン

asf0/libstrix は、AMD Strix Halo 向け HIP カーネルを提供し、upstream vLLM プラグイン経由で選択的に適用するリポジトリです。

リポジトリ情報asf0/libstrix ↗

asf0/libstrix は、AMD Strix Halo 向け HIP カーネルを提供し、upstream vLLM プラグイン経由で選択的に適用するリポジトリです。

GitHub の説明: HIP kernels for AMD Strix Halo (gfx1151) and a vLLM plugin that runs them on stock upstream vLLM: up to 31x faster prefill and ~2x decode at long context.

スター
★ 3
フォーク
0
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

asf0/libstrix は、AMD Strix Halo(gfx1151, Radeon 8060S)向けの HIP カーネルと、upstream vLLM でそれらを利用するためのプラグインを提供します。vLLM のソースを変更せずにプラグイン経由でカーネルを適用し、他のグラフィックスデバイスでは有効になりません。リポジトリの説明では、長コンテキストにおいて prefill は最大 31 倍、decode は約 2 倍高速化されると説明しています。

各カーネルは、それぞれ一つの演算形状(geometry)に合わせてコンパイルされます。strix.select 呼び出しはカーネルが対応する形状を確認する機能であり、入力形状やデータ型の条件が一致しない場合はそのカーネルを使わず、vLLM のデフォルト経路を使用します。したがって、すべての入力にカーネルを適用するのではなく、対応条件を満たす場合にのみ選択する構成です。README にはカーネルレジストリと選択機能、試験コードおよびベンチマーク構成が記載されています。リポジトリの主な実装言語は Python で、ライセンスは MIT です。

提示された性能の数値は、リポジトリ自身の資料だけでは独立に再現されておらず、実際の性能の根拠として断定するのは困難です。適用対象も Strix Halo と、対応形状およびデータ型の条件に限られます。したがって、性能の主張は更なる検証を要するリポジトリ側の結果として扱い、適用範囲が狭い点も併せて考慮する必要があります。