Devotd Github
새 소식추론/서빙

fly9i/spark-engine v0.3.11 — DGX Spark용 EXL3 추론 엔진

fly9i/spark-engine은 NVIDIA DGX Spark에서 EXL3 모델을 제공하는 Rust 기반 추론 엔진이다.

저장소 정보fly9i/spark-engine ↗

fly9i/spark-engine은 NVIDIA DGX Spark에서 EXL3 모델을 제공하는 Rust 기반 추론 엔진이다.

GitHub 설명: From-scratch EXL3 inference engine for NVIDIA DGX Spark (GB10): GLM-5.3-Flash on two Sparks (TP2) + Qwen3.8-Flash-Next on one, OpenAI-compatible, 1M context, speculative decoding

스타
★ 9
포크
0
언어
Rust
라이선스
MIT
최신 릴리스
v0.3.11
원문 보기 ↗GitHub에서 보기 ↗

fly9i/spark-engine은 NVIDIA DGX Spark용 EXL3 추론 엔진이다. 최신 릴리스는 v0.3.11이다. 저장소 설명은 GLM-5.3-Flash를 두 대의 Spark에서, Qwen3.8-Flash-Next를 한 대에서 실행하는 구성을 제시한다. OpenAI 호환 API와 1M 컨텍스트, 추측 디코딩을 지원한다고 설명한다. 다만 제공된 자료에는 v0.3.11에서 무엇이 바뀌었는지 나오지 않는다.

이 프로젝트는 DGX Spark에서 여러 혼합 전문가 모델을 제공하는 데 초점을 둔다. Rust로 작성됐고 MIT 라이선스이며, README는 GLM-5.3-Flash, DeepSeek-V4.1-Flash, Qwen3.8-Flash-Next의 실행 구성을 다룬다. 자체 연산 커널과 희소 어텐션, 추측 디코딩 상태 머신, RDMA 통신, NVMe 접두사 캐시를 주요 코드로 제시한다. 모델별 속도 표에는 하드웨어와 프롬프트, 동시 요청 수, 디코딩 조건이 함께 적혀 있다.

README에는 모델별 문서와 재현·성능 시험 자료도 있지만, 성능 수치는 독립적으로 재현되지 않았다. 따라서 표의 속도는 제시된 조건에서 나온 프로젝트 측정치로 보는 편이 적절하다. 공개 자료만으로는 릴리스별 변경 내용도 확인할 수 없어, v0.3.11의 구체적인 개선 사항까지 판단하기는 어렵다.