raullenchai/twinspark — 用两台 DGX Spark 服务 284B MoE 的配方
一个 MIT 许可的仓库，记录了在由两台 DGX Spark 组成的 vLLM 集群上运行 DeepSeek-V4-Flash-0731（284B MoE）的步骤与实测数据。
仓库信息raullenchai/twinspark ↗一个 MIT 许可的仓库，记录了在由两台 DGX Spark 组成的 vLLM 集群上运行 DeepSeek-V4-Flash-0731（284B MoE）的步骤与实测数据。
GitHub 项目说明: Production-grade recipe for DeepSeek-V4-Flash-0731 (284B MoE) on 2x NVIDIA DGX Spark: self-healing 2-node vLLM cluster, reboot-verified, tuned DSpark speculative decoding (~75 tok/s), full benchmarks, OpenAI Codex CLI integration
- 星标
- ★ 176
- 复刻
- 20
- 语言
- Shell
- 许可证
- MIT
raullenchai/twinspark 是一个配方仓库，用于在两台 NVIDIA DGX Spark 上运行 DeepSeek-V4-Flash-0731（284B MoE）。它记录了把这两台设备连接成具备自恢复能力的双节点 vLLM 集群的步骤。该仓库以 Shell 编写，采用 MIT 许可。最新发布版本在 FACTS 中未给出。
README 描述了用 RoCE 连接两台 DGX Spark、并通过 vLLM 的张量并行运行模型的配置，也包含一份已确认可在重启后恢复的配置。作者在应用 DSpark 推测解码（speculative decoding）后的测量结果表明，单流生成速度约为 75 tok/s，预填充吞吐量约为 1.7k tok/s。此外还提供了把 Codex CLI 接入本地端点的使用示例、网络预检流程以及单独基准测试的说明。
该配方所覆盖的范围是 DeepSeek-V4-Flash-0731 与两台 DGX Spark 的组合。性能数据是 README 中记录的作者实测值，因此没有依据将其推广到其他模型或硬件上。所以更合适的做法是把它当作大规模 MoE 服务配置的参考案例。