Devotd Github
新发现推理与服务

jchen-318/gaudi2-single-card-strata — Gaudi2 单卡推理

jchen-318/gaudi2-single-card-strata 是一个原生推理引擎仓库,可在单台 Intel Gaudi2 上运行 Qwen3.8-Flash-Next。

仓库信息jchen-318/gaudi2-single-card-strata ↗

jchen-318/gaudi2-single-card-strata 是一个原生推理引擎仓库,可在单台 Intel Gaudi2 上运行 Qwen3.8-Flash-Next。

GitHub 项目说明: Qwen3.8-Flash-Next (512-expert MoE, 256k context) on a single Intel Gaudi2: native SynapseAI + custom TPC kernels, DFlash2 speculative decoding, OpenAI/Anthropic-compatible API, Docker. 单卡 Gaudi2 原生推理,decode ~155 tok/s,prefill ~3.5k tok/s。

星标
★ 6
复刻
2
语言
C++
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

jchen-318/gaudi2-single-card-strata 是在单台 Intel Gaudi2 上原生运行 Qwen3.8-Flash-Next 的推理引擎仓库。它是一个以 Strata 为基础的项目,FACTS 中记录的创建日期为 2026 年 10 月 21 日。没有发布信息。它把模型层编译为 SynapseAI 图,在 Gaudi2 的 MME 和 TPC 上运行,并包含约一百个手写的 TPC 内核。代码为 C++,许可证为 MIT。

该仓库的目的是在单张 Gaudi2 卡上执行 Qwen3.8-Flash-Next 推理。目标模型采用 512-expert MoE 结构,具备 256k 上下文。README 说明了 DFlash2 推测解码以及兼容 OpenAI、Anthropic 的 API。仓库还提供 Docker 配置、CMake 构建、单元测试和硬件测试流程。README 中列出的性能为 decode ~155 tok/s、prefill ~3.5k tok/s。

这些性能数值由仓库作者在特定硬件和单请求条件下测得,因此并不是展示其他环境性能的对比资料。根据 README,仓库只支持一种模型结构,多个请求也一次只处理一个。因此,这条记录所体现的范围,止于在单台 Gaudi2 上运行该模型的实现。