elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark

2 台の DGX Spark で DeepSeek V4.1 Flash を実行する設定レシピと、vLLM kit に対するデコーディング速度の測定記録を紹介する。

GitHub の説明: DeepSeek-V4.1-Flash-1017 EXL3 2.9bpw on 2x NVIDIA DGX Spark (GB10) with TensorFold: 2.1-2.3x the vLLM kit's decode speed.

スター

★ 63

フォーク

5

言語

Python

ライセンス

Apache-2.0

最新リリース

v1.0.0