jchen-318/gaudi2-single-card-strata

jchen-318/gaudi2-single-card-strata 是一个原生推理引擎仓库，可在单台 Intel Gaudi2 上运行 Qwen3.8-Flash-Next。

GitHub 项目说明: Qwen3.8-Flash-Next (512-expert MoE, 256k context) on a single Intel Gaudi2: native SynapseAI + custom TPC kernels, DFlash2 speculative decoding, OpenAI/Anthropic-compatible API, Docker. 单卡 Gaudi2 原生推理，decode ~155 tok/s，prefill ~3.5k tok/s。

星标

★ 6

复刻

2

语言

C++

许可证

MIT