fly9i/spark-engineはNVIDIA DGX Spark向けのEXL3推論エンジンです。最新リリースはv0.3.11です。リポジトリの説明では、2台のSparkでGLM-5.3-Flashを、1台でQwen3.8-Flash-Nextを実行する構成が示されています。OpenAI互換API、1Mコンテキスト、投機的デコードをサポートすると説明しています。ただし、提供された資料にはv0.3.11での変更点が記載されていません。
このプロジェクトは、DGX Sparkで複数の混合専門家モデルを提供することに焦点を当てています。Rustで書かれ、MITライセンスのもとで公開されており、READMEはGLM-5.3-Flash、DeepSeek-V4.1-Flash、Qwen3.8-Flash-Nextの実行構成を扱っています。独自の演算カーネル、疎アテンション、投機的デコードの状態マシン、RDMA通信、NVMeプレフィックスキャッシュを主要なコードとして挙げています。モデル別の速度表には、ハードウェアとプロンプト、同時リクエスト数、デコード条件が一緒に記載されています。
READMEにはモデル別のドキュメントや再現・性能試験資料もありますが、性能数値は独立して再現されていません。そのため、表の速度は提示された条件下でのプロジェクト側の測定値とみなすのが適切です。公開情報だけではリリースごとの変更内容も確認できないため、v0.3.11の具体的な改善点を判断するのは困難です。