Devotd Github
新着推論・サービング

miaai-lab/deepseek-v4-flash-dspark-2x-dgx-spark — 実行構成

2台の DGX Spark で DeepSeek-V4-Flash-Vision-Exp を動かす設定について説明したレシピリポジトリ。

リポジトリ情報miaai-lab/deepseek-v4-flash-dspark-2x-dgx-spark ↗

2台の DGX Spark で DeepSeek-V4-Flash-Vision-Exp を動かす設定について説明したレシピリポジトリ。

GitHub の説明: DeepSeek-v4-Flash 0731 recipe for 2x DGX Sparks

スター
★ 1.5K
フォーク
200
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

miaai-lab/deepseek-v4-flash-dspark-2x-dgx-spark は、DeepSeek-v4-Flash 0731 を 2 台の DGX Spark で動かすためのレシピリポジトリです。README では実行対象として DeepSeek-V4-Flash-Vision-Exp を紹介し、vLLM TP=2 の構成を説明します。新しいバージョンの変更点を告知するリリースではなく、リポジトリの README にまとめられた実行方法と準備手順が中心です。

この構成は、DSpark の量子化を活用して大規模なモデルをローカル機器で動かしたい場合に参考になります。README には speculative decoding の経路、1M トークンのコンテキスト上限、画像入力の経路が記載されています。実際の実行前に 2 ノードのネットワークとイメージを整え、モデルキャッシュを設定する手順も説明しています。実行コマンドだけでなく状態確認のプロセスまで扱うため、2 ノード構成の準備から起動までの流れを確認できます。

ただし README は公式の重みに映像エンコーダーが含まれないと明記しています。画像入力の経路と映像エンコーダーの不在は区別して見る必要があり、この事実だけで映像入力のサポートを期待することはできません。したがって、このリポジトリは文書に記載された実行構成と画像経路を確認するための参考資料として活用できます。