Devotd Github
新着推論・サービング

miaai-lab/deepseek-v4.1-flash-1017-2x-dgx-sparks — DGX Spark 2 台向けのデプロイ構成

DGX Spark 2 台で DeepSeek-V4.1-Flash-1017 EXL3 を TensorFold 経由で提供する構成と検証範囲を紹介する。

リポジトリ情報miaai-lab/deepseek-v4.1-flash-1017-2x-dgx-sparks ↗

DGX Spark 2 台で DeepSeek-V4.1-Flash-1017 EXL3 を TensorFold 経由で提供する構成と検証範囲を紹介する。

GitHub の説明: DeepSeek-V4.1-Flash-1017 EXL3 on 2x DGX Sparks with TensorFold

スター
★ 280
フォーク
44
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

miaai-lab/deepseek-v4.1-flash-1017-2x-dgx-sparks は、DGX Spark 2 台で DeepSeek-V4.1-Flash-1017 EXL3 を TensorFold ベースで提供するデプロイレシピである。リポジトリはモデルのチェックポイントと設定値、準備および実行スクリプトを案内する。別途の最新リリースバージョンは FACTS に記録されていない。

README は OpenAI 互換 API、画像入力、ツール呼び出し、思考モード切り替え、DSpark の推測デコーディングを説明する。推測デコーディングは候補トークンを先に生成してから検証する方式である。コンテキストウィンドウは 1,048,576 トークン設定まで扱うが、実際の測定には 524,288 トークン設定が含まれる。全ウィンドウ設定では 10 万トークンの入力を実行したと記録している。設定チェックとビルド結果、異なるツールや条件での性能測定も分けて提示している。

ただし、画像入力とツール呼び出しは当該の機器ペアでは検証していないと明言している。一部の計算プランも実際の 39 シャードモデルでは再実行されていない。性能数値はプロジェクト自身の測定結果であり、独立した再現の根拠が示されているわけではない。したがって、文書に記載された機能と設定をすべて検証済みの性能として受け入れるより、測定条件と検証範囲を併せて確認する必要がある。