Devotd Github
新着推論・サービング

elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark — DGX Spark 推論設定

2 台の DGX Spark で DeepSeek V4.1 Flash を実行する設定レシピと、vLLM kit に対するデコーディング速度の測定記録を紹介する。

リポジトリ情報elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark ↗

2 台の DGX Spark で DeepSeek V4.1 Flash を実行する設定レシピと、vLLM kit に対するデコーディング速度の測定記録を紹介する。

GitHub の説明: DeepSeek-V4.1-Flash-1017 EXL3 2.9bpw on 2x NVIDIA DGX Spark (GB10) with TensorFold: 2.1-2.3x the vLLM kit's decode speed.

スター
★ 63
フォーク
5
言語
Python
ライセンス
Apache-2.0
最新リリース
v1.0.0
原文を見る ↗GitHub で見る ↗

elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark は、DeepSeek V4.1 Flash を NVIDIA DGX Spark (GB10) 2 台で実行するための設定レシピである。最新リリースは v1.0.0。EXL3 2.9bpw モデルを TensorFold で実行し、README は vLLM 設定よりデコーディング速度が 2.1〜2.3 倍速いとしている。プリフィルは入力コンテキストを取り込む段階である。README にはツール呼び出しと構造化出力、最大 4 件の同時リクエスト、1M トークンのコンテキスト対応、OpenAI API 互換のアプリに接続する方法も記載されている。

README の測定表は、散文タスクで 27 トークン/秒 に対し 57 トークン/秒、コードタスクで 40 に対し 92 トークン/秒を示している。3 万 2 千トークンのプロンプトのプリフィルは 925 に対し 2165 トークン/秒である。最大コンテキストは 26 万 2 千 144 から 104 万 8576 トークンに増えたと記されている。数値の根拠として runs/ 以下には日付別の結果ファイルと実行ログが公開されており、そのファイル数は 150 個である。出力差分テストや適合性テスト、文法チェック、ベンチマーク試験も記録されている。コードは Python、ライセンスは Apache-2.0 である。

比較対象は標準の vLLM ではなく vLLM kit であり、測定結果は README とリポジトリの実行記録に基づいている。TensorFold は作者自身のエンジンのフォークであるため、この資料だけでは独立した検証を確認できない。したがって性能数値は、独立に確定した成果ではなく、2 台の DGX Spark で得られた最適化事例と検証可能な測定根拠として捉えるのが妥当である。