Devotd Github
새 소식추론/서빙

elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark — DGX Spark 추론 설정

DeepSeek V4.1 Flash를 DGX Spark 두 대에서 실행하는 설정 레시피와 vLLM kit 대비 디코딩 속도 측정 기록을 소개한다.

저장소 정보elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark ↗

DeepSeek V4.1 Flash를 DGX Spark 두 대에서 실행하는 설정 레시피와 vLLM kit 대비 디코딩 속도 측정 기록을 소개한다.

GitHub 설명: DeepSeek-V4.1-Flash-1017 EXL3 2.9bpw on 2x NVIDIA DGX Spark (GB10) with TensorFold: 2.1-2.3x the vLLM kit's decode speed.

스타
★ 63
포크
5
언어
Python
라이선스
Apache-2.0
최신 릴리스
v1.0.0
원문 보기 ↗GitHub에서 보기 ↗

elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark는 DeepSeek V4.1 Flash를 NVIDIA DGX Spark(GB10) 두 대에서 실행하는 설정 레시피다. 최신 릴리스는 v1.0.0이다. EXL3 2.9bpw 모델을 TensorFold로 실행하며, README는 vLLM 설정보다 디코딩 속도가 2.1~2.3배 빠르다고 설명한다. 프리필은 입력 문맥을 읽어들이는 단계다. README에는 도구 호출과 구조화 출력, 최대 4개 동시 요청, 1M 토큰 컨텍스트 지원과 OpenAI API 호환 앱에 연결하는 방법도 담겼다.

README의 측정 표는 서술 작업에서 27토큰/초 대비 57토큰/초, 코드 작업에서 40 대비 92토큰/초를 제시한다. 3만 2천 토큰 프롬프트의 프리필은 925 대비 2165토큰/초다. 최대 컨텍스트는 26만 2천 144에서 104만 8576토큰으로 늘었다고 적혀 있다. 수치의 근거로 runs/ 아래 날짜별 결과 파일과 실행 로그를 공개했으며, 해당 파일은 150개다. 출력 차등성 시험과 적합성 시험, 문법 검사, 벤치 시험도 기록돼 있다. 코드는 Python이고 라이선스는 Apache-2.0이다.

비교 대상은 표준 vLLM이 아니라 vLLM kit이며, 측정 결과는 README와 저장소의 실행 기록에 근거한다. TensorFold는 저자 자신의 엔진 포크이므로 이 자료만으로 독립 검증을 확인할 수는 없다. 따라서 성능 수치는 독립적으로 확정된 결과라기보다, 두 대의 DGX Spark에서 얻은 최적화 사례와 검토 가능한 측정 근거로 보는 편이 타당하다.