jchen-318/gaudi2-single-card-strata

jchen-318/gaudi2-single-card-strata는 Intel Gaudi2 한 대에서 Qwen3.8-Flash-Next를 구동하는 네이티브 추론 엔진 저장소다.

GitHub 설명: Qwen3.8-Flash-Next (512-expert MoE, 256k context) on a single Intel Gaudi2: native SynapseAI + custom TPC kernels, DFlash2 speculative decoding, OpenAI/Anthropic-compatible API, Docker. 单卡 Gaudi2 原生推理，decode ~155 tok/s，prefill ~3.5k tok/s。

스타

★ 6

포크

2

언어

C++

라이선스

MIT