Devotd Github
新发现推理与服务

fly9i/spark-engine v0.3.11 — 面向 DGX Spark 的 EXL3 推理引擎

fly9i/spark-engine 是一个基于 Rust 的推理引擎,在 NVIDIA DGX Spark 上提供 EXL3 模型。

仓库信息fly9i/spark-engine ↗

fly9i/spark-engine 是一个基于 Rust 的推理引擎,在 NVIDIA DGX Spark 上提供 EXL3 模型。

GitHub 项目说明: From-scratch EXL3 inference engine for NVIDIA DGX Spark (GB10): GLM-5.3-Flash on two Sparks (TP2) + Qwen3.8-Flash-Next on one, OpenAI-compatible, 1M context, speculative decoding

星标
★ 9
复刻
0
语言
Rust
许可证
MIT
最新版本
v0.3.11
查看原始来源 ↗在 GitHub 查看 ↗

fly9i/spark-engine 是面向 NVIDIA DGX Spark 的 EXL3 推理引擎。最新版本是 v0.3.11。仓库说明给出了在两台 Spark 上运行 GLM-5.3-Flash、在一台上运行 Qwen3.8-Flash-Next 的配置。它称支持 OpenAI 兼容 API、1M 上下文和推测解码。不过,现有资料没有说明 v0.3.11 具体改动了什么。

该项目专注于在 DGX Spark 上提供多个混合专家模型。它使用 Rust 编写,采用 MIT 许可证,README 介绍了 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 的运行配置。它把自有计算内核、稀疏注意力、推测解码状态机、RDMA 通信和 NVMe 前缀缓存列为主要代码。各模型的速度表同时列出了硬件、提示词、并发请求数和解码条件。

README 还包含各模型的文档以及复现与性能测试材料,但这些性能数字并未被独立复现。因此,表中的速度更适合视为项目在所列条件下得出的自测数据。仅凭公开资料也无法确认各版本之间的变更,因此难以判断 v0.3.11 的具体改进。