fly9i/spark-engine

fly9i/spark-engine 是一个基于 Rust 的推理引擎，在 NVIDIA DGX Spark 上提供 EXL3 模型。

GitHub 项目说明: From-scratch EXL3 inference engine for NVIDIA DGX Spark (GB10): GLM-5.3-Flash on two Sparks (TP2) + Qwen3.8-Flash-Next on one, OpenAI-compatible, 1M context, speculative decoding

星标

★ 9

复刻

0

语言

Rust

许可证

MIT

最新版本

v0.3.11