Devotd Github
新着推論・サービング

jchen-318/gaudi2-single-card-strata — Gaudi2 単一カード推論

jchen-318/gaudi2-single-card-strata は、Intel Gaudi2 1 台で Qwen3.8-Flash-Next をネイティブに動かす推論エンジンのリポジトリである。

リポジトリ情報jchen-318/gaudi2-single-card-strata ↗

jchen-318/gaudi2-single-card-strata は、Intel Gaudi2 1 台で Qwen3.8-Flash-Next をネイティブに動かす推論エンジンのリポジトリである。

GitHub の説明: Qwen3.8-Flash-Next (512-expert MoE, 256k context) on a single Intel Gaudi2: native SynapseAI + custom TPC kernels, DFlash2 speculative decoding, OpenAI/Anthropic-compatible API, Docker. 单卡 Gaudi2 原生推理,decode ~155 tok/s,prefill ~3.5k tok/s。

スター
★ 6
フォーク
2
言語
C++
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

jchen-318/gaudi2-single-card-strata は、Intel Gaudi2 1 台で Qwen3.8-Flash-Next をネイティブに実行する推論エンジンのリポジトリである。Strata を基盤としたプロジェクトで、FACTS に記録された作成日は 2026 年 10 月 21 日である。リリース情報は存在しない。モデル層を SynapseAI グラフへコンパイルし、Gaudi2 の MME と TPC 上で実行する。自作した TPC カーネルを約 100 個含む。コードは C++、ライセンスは MIT である。

このリポジトリの目的は、単一の Gaudi2 カードで Qwen3.8-Flash-Next の推論を実行することである。対象モデルは 512-expert MoE 構造と 256k コンテキストを持つ。README は DFlash2 投機的デコーディングと OpenAI・Anthropic 互換 API を説明している。Docker 構成や CMake ビルド、ユニットテスト、ハードウェア試験手順も提供する。README に記載された性能は decode 約 155 tok/s、prefill 約 3.5k tok/s である。

性能の数値はリポジトリの作成者が特定のハードウェアと単一リクエスト条件で測定したものであり、他の環境での性能を示す比較資料ではない。README によれば、対応するモデル構造は 1 種類のみで、複数のリクエストも一度に 1 つずつ処理する。したがって、この記録が示す範囲は、Gaudi2 1 台でそのモデルを実行する実装までである。