jchen-318/gaudi2-single-card-strata

jchen-318/gaudi2-single-card-strata は、Intel Gaudi2 1 台で Qwen3.8-Flash-Next をネイティブに動かす推論エンジンのリポジトリである。

GitHub の説明: Qwen3.8-Flash-Next (512-expert MoE, 256k context) on a single Intel Gaudi2: native SynapseAI + custom TPC kernels, DFlash2 speculative decoding, OpenAI/Anthropic-compatible API, Docker. 单卡 Gaudi2 原生推理，decode ~155 tok/s，prefill ~3.5k tok/s。

スター

★ 6

フォーク

2

言語

C++

ライセンス

MIT