github.devotd.
新着推論・サービング

shawnshekari/strixite v0.3.1 — Strix Halo 向け HIP 推論エンジン

shawnshekari/strixite は AMD Strix Halo と Qwen3.8-Flash-Next に対応した HIP ベースの LLM 推論エンジンです。

リポジトリ情報shawnshekari/strixite ↗

LLM inference engine written from scratch in HIP for AMD Strix Halo (gfx1151) and Qwen3.8-Flash-Next - ~50 tokens/s out to 492k context

スター
★ 57
フォーク
7
言語
C++
ライセンス
AGPL-3.0
最新リリース
v0.3.1
原文を見る ↗GitHub で見る ↗

shawnshekari/strixite は、AMD Strix Halo(gfx1151)で Qwen3.8-Flash-Next を実行するために書かれた HIP ベースの LLM 推論エンジンです。最新リリースは v0.3.1 で、提供された情報にはこのバージョンでの変更点が記載されていません。リポジトリの説明では約 50 トークン/秒、492k コンテキストまで動作するとあります。README によれば、llama.cpp や ggml に頼らず HIP で 처음書かれており、カーネルは直接実装したとのことです。これは汎用エンジンを幅広くサポートするのではなく、AMD Strix Halo と特定のモデル組み合わせに寄せたアプローチです。

このエンジンは、長い文脈を保ったままモデルの応答を生成するローカル推論を目的としています。README によると、128GB メモリの Strix Halo 1 台で 512k コンテキストに対応し、プロンプト処理速度は毎秒 1,370 トークンです。RAM・ディスクのプロンプトキャッシュや、最大 7 トークンを一度に検査するマルチトークン予測にも対応していると記載されています。C++ で書かれ AGPL-3.0 ライセンスで、リポジトリのスターは 56 件です。README は 512 個のエキスパートを持つ MoE 構造や、SSD から読み込む 51B パラメータの n-gram テーブルにも言及しています。

ただし、性能の数値はリポジトリ側の主張であり、公開された計測スクリプトやベンチマーク結果ファイルはありません。README の terminal-bench-mini コアスイート 19/19 という記録だけでは、492k コンテキストでの速度を再現したり他の環境へ一般化したりするのは困難です。したがって v0.3.1 の具体的な変更点と性能の独立した検証は提供された情報だけでは確認できず、特定のハードウェアとモデル組み合わせのための実験的なエンジンと捉えるのが妥当です。