github.devotd.
新着推論・サービング

peonist-ai/halogen-flash-server — Strix Halo 専用推論サーバー

peonist-ai/halogen-flash-server は AMD Strix Halo 専用カーネルで Qwen3.8-Flash-Next を実行する推論サーバーで、0.7.0 から llama.cpp GGUF をそのまま読み込む。

リポジトリ情報peonist-ai/halogen-flash-server ↗

peonist-ai/halogen-flash-server は AMD Strix Halo 専用カーネルで Qwen3.8-Flash-Next を実行する推論サーバーで、0.7.0 から llama.cpp GGUF をそのまま読み込む。

GitHub の説明: The fastest way to run Qwen3.8-Flash-Next on Strix Halo (gfx1151)

スター
★ 1K
フォーク
82
言語
Shell
ライセンス
NOASSERTION
原文を見る ↗GitHub で見る ↗

peonist-ai/halogen-flash-server は AMD Strix Halo(gfx1151)グラフィックデバイスで Qwen3.8-Flash-Next を実行する推論サーバーだ。汎用ランタイムの代わりにこの GPU とモデル系列に合わせたカーネルを自前で実装し、フォールバック経路は設けていない。ドキュメントには 0.7.0 から llama.cpp GGUF をそのまま読み込むと記載されている。GitHub が示す主要言語は Shell で、スターは 1043 個だ。リポジトリは 2026 年 8 月 26 日に作成された。

設計対象はエージェントの長い会話コンテキストとリクエスト往復遅延だ。リポジトリはコーディングエージェント 1 ターンで最初のトークンまで 1.6 秒、decode(回答を 1 トークンずつ生成する段階)は最大 94 tok/s だと示す。prefill(長い入力コンテキストをまとめて処理する段階)は 131K トークンでも 32K の 96% 程度だと明かしている。各数値には測定条件が併記され、再現手順も案内されている。OpenAI 互換のエンドポイントを提供してエージェントを接続でき、設定・セッション・画像入力・量子化に関するドキュメントも備えている。

ただし性能数値はリポジトリ自身の測定値であり、別途の検証根拠は添付されていない。CPU 向けの汎用実行経路も他のチップ向けの移植層も持たないため、他の GPU や他のモデルで同じ結果を期待できる根拠はない。ライセンス表示は確認できなかった。すでに Strix Halo と Qwen3.8-Flash-Next 系列を備えている環境でこそ意味のあるリポジトリと見られる。