Devotd Github
새 소식추론/서빙

raullenchai/twinspark — DGX Spark 2대의 284B MoE 서빙 레시피

DeepSeek-V4-Flash-0731(284B MoE)을 DGX Spark 두 대의 vLLM 클러스터로 구동하는 절차와 측정치를 담은 MIT 라이선스 저장소다.

저장소 정보raullenchai/twinspark ↗

DeepSeek-V4-Flash-0731(284B MoE)을 DGX Spark 두 대의 vLLM 클러스터로 구동하는 절차와 측정치를 담은 MIT 라이선스 저장소다.

GitHub 설명: Production-grade recipe for DeepSeek-V4-Flash-0731 (284B MoE) on 2x NVIDIA DGX Spark: self-healing 2-node vLLM cluster, reboot-verified, tuned DSpark speculative decoding (~75 tok/s), full benchmarks, OpenAI Codex CLI integration

스타
★ 176
포크
20
언어
Shell
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

raullenchai/twinspark는 DeepSeek-V4-Flash-0731(284B MoE)을 NVIDIA DGX Spark 두 대에서 구동하는 레시피 저장소다. 두 장비를 연결해 자체 복구형 2노드 vLLM 클러스터를 구성하는 절차를 문서화했다. 저장소는 Shell로 작성됐고 MIT 라이선스다. 최신 릴리스 버전은 FACTS에 제시되지 않았다.

README는 두 대의 DGX Spark를 RoCE로 연결하고 vLLM의 tensor parallelism으로 모델을 구동하는 구성을 설명한다. 재부팅 뒤 복구를 확인한 구성도 포함한다. DSpark speculative decoding 설정을 적용한 작성자 측정치로 단일 스트림 생성 속도 약 75 tok/s, 사전 채우기 처리량 약 1.7k tok/s를 제시한다. Codex CLI를 로컬 엔드포인트에 연결하는 사용 사례와 네트워크 사전 점검 절차, 별도 벤치마크 설명도 제공한다.

이 레시피가 다루는 범위는 DeepSeek-V4-Flash-0731과 DGX Spark 두 대의 조합이다. 성능 수치는 README에 기록된 작성자 측정치이므로 다른 모델이나 하드웨어의 결과로 일반화할 근거는 아니다. 따라서 대규모 MoE 서빙 구성의 참고 사례로 보는 편이 적절하다.