fly9i/spark-engine 是面向 NVIDIA DGX Spark 的 EXL3 推理引擎。最新版本是 v0.3.11。仓库说明给出了在两台 Spark 上运行 GLM-5.3-Flash、在一台上运行 Qwen3.8-Flash-Next 的配置。它称支持 OpenAI 兼容 API、1M 上下文和推测解码。不过,现有资料没有说明 v0.3.11 具体改动了什么。
该项目专注于在 DGX Spark 上提供多个混合专家模型。它使用 Rust 编写,采用 MIT 许可证,README 介绍了 GLM-5.3-Flash、DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 的运行配置。它把自有计算内核、稀疏注意力、推测解码状态机、RDMA 通信和 NVMe 前缀缓存列为主要代码。各模型的速度表同时列出了硬件、提示词、并发请求数和解码条件。
README 还包含各模型的文档以及复现与性能测试材料,但这些性能数字并未被独立复现。因此,表中的速度更适合视为项目在所列条件下得出的自测数据。仅凭公开资料也无法确认各版本之间的变更,因此难以判断 v0.3.11 的具体改进。