Devotd Github
新着推論・サービング

raullenchai/twinspark — 2台の DGX Spark で 284B MoE をサービングするレシピ

2台の DGX Spark からなる vLLM クラスター上で DeepSeek-V4-Flash-0731(284B MoE)を動かす手順と測定値をまとめた MIT ライセンスのリポジトリ。

リポジトリ情報raullenchai/twinspark ↗

2台の DGX Spark からなる vLLM クラスター上で DeepSeek-V4-Flash-0731(284B MoE)を動かす手順と測定値をまとめた MIT ライセンスのリポジトリ。

GitHub の説明: Production-grade recipe for DeepSeek-V4-Flash-0731 (284B MoE) on 2x NVIDIA DGX Spark: self-healing 2-node vLLM cluster, reboot-verified, tuned DSpark speculative decoding (~75 tok/s), full benchmarks, OpenAI Codex CLI integration

スター
★ 176
フォーク
20
言語
Shell
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

raullenchai/twinspark は、DeepSeek-V4-Flash-0731(284B MoE)を NVIDIA DGX Spark 2台で動かすためのレシピリポジトリだ。2台の機器を接続して自己修復型の2ノード vLLM クラスターを構築する手順を文書化している。リポジトリは Shell で記述され、MIT ライセンスで公開されている。最新リリースのバージョンは FACTS には示されていない。

README は、2台の DGX Spark を RoCE で接続し、vLLM の tensor parallelism でモデルを実行する構成を説明している。再起動後に復旧することを確認した構成も含まれる。作成者が DSpark speculative decoding を適用した際の測定では、シングルストリーム生成速度は約 75 tok/s、プリフィル処理量は約 1.7k tok/s としている。Codex CLI をローカルエンドポイントに接続するユースケース、ネットワーク事前確認手順、別途のベンチマーク手順もENCEDOTS Sugar.

このレシピが扱う範囲は DeepSeek-V4-Flash-0731 と DGX Spark 2台の組み合わせである。性能数値は README に記録された作成者の測定値であり、他のモデルやハードウェアの結果へ一般化する根拠はない。したがってこれは大規模な MoE サービング構成の参考事例と捉えるのが適切である。