github.devotd.
新发现推理与服务

jesdga95/basalt — 面向 Blackwell 的 Qwen3.8-Flash-Next 推理引擎

jesdga95/basalt 是一个面向 Linux 与 NVIDIA Blackwell 的 Qwen3.8-Flash-Next MoE 本地推理引擎。

仓库信息jesdga95/basalt ↗

Local inference engine for Qwen3.8-Flash-Next on NVIDIA Blackwell

星标
★ 72
复刻
10
语言
C++
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

jesdga95/basalt 是 Strata 的分叉,是面向 Linux x86-64、NVIDIA Blackwell(sm_120)与 CUDA 13 的 Qwen3.8-Flash-Next MoE 本地推理引擎。显存装不下的 expert 会被放到系统内存中,并且可以选用第二块 GPU 作为 peer expert 层,从而在一台工作站上运行模型。所谓存储空间不足的 expert,是指当前无法装入显存的模型组件。

README 通过处理 wikitext-2 的 20 个分块(每块 512 token)来报告各量化方案的质量。它使用相对 Q8_0 基准的平均 KLD 与 top-1 一致率:UD-Q4_K_XL 为 KLD 0.068、top-1 93.0%,NVIDIA 官方 NVFP4 包为 KLD 0.076、top-1 93.0%。GSQ-RCO Q2_0 为 KLD 0.486、top-1 80.6%,GSQ-RCO IQ3_XXS 为 KLD 0.277、top-1 86.8%。部分包包含经自蒸馏打磨的 MTP 层,草稿输出最终是否被接受由验证阶段决定。

该仓库采用 MIT 许可证,包含 C++/CUDA 引擎、兼容 OpenAI 与 Anthropic 的 Python 服务器、测试以及转换和质量检查工具。官方 .basalt 包在 Hugging Face 上分发。不过支持目标只有 Qwen3.8-Flash-Next 一个,质量数值也仅基于 wikitext-2 的有限分块评估。因此,仅凭这些结果难以判断其他模型或其他使用环境下的质量。