github.devotd.
새 소식추론/서빙

jesdga95/basalt — Blackwell 전용 Qwen3.8-Flash-Next 추론 엔진

jesdga95/basalt는 Linux와 NVIDIA Blackwell에 맞춘 Qwen3.8-Flash-Next MoE 로컬 추론 엔진이다.

저장소 정보jesdga95/basalt ↗

Local inference engine for Qwen3.8-Flash-Next on NVIDIA Blackwell

스타
★ 72
포크
10
언어
C++
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

jesdga95/basalt는 Strata를 포크해 Linux x86-64와 NVIDIA Blackwell(sm_120), CUDA 13에 맞춘 Qwen3.8-Flash-Next MoE 로컬 추론 엔진이다. 저장 공간이 부족한 expert를 VRAM 대신 시스템 RAM에 두고, 선택적으로 두 번째 GPU를 peer expert 티어로 활용해 한 대의 워크스테이션에서 모델을 실행한다. 저장 공간이 부족한 expert란 현재 VRAM에 들어가지 않는 모델 구성 요소를 뜻한다.

README는 wikitext-2의 20개 청크를 각각 512토큰으로 처리해 양자화별 품질을 보고한다. 비교 기준인 Q8_0에 대한 KLD 평균과 top-1 일치율을 사용하며, UD-Q4_K_XL은 KLD 0.068·top-1 93.0%, NVIDIA NVFP4 공식 팩은 KLD 0.076·top-1 93.0%다. GSQ-RCO Q2_0은 KLD 0.486·top-1 80.6%, GSQ-RCO IQ3_XXS는 KLD 0.277·top-1 86.8%다. 일부 팩에는 자기증류로 다듬은 MTP 층이 포함되며, 초안 출력의 최종 수용 여부는 검증 단계가 결정한다.

저장소는 MIT 라이선스이며, C++/CUDA 엔진과 OpenAI·Anthropic 호환 Python 서버, 테스트, 변환 및 품질 검사 도구를 포함한다. 공식 .basalt 팩은 Hugging Face에서 배포된다. 다만 지원 대상은 Qwen3.8-Flash-Next 하나이며, 품질 수치는 wikitext-2의 제한된 청크 평가에 근거한다. 따라서 이 결과만으로 다른 모델이나 사용 환경의 품질까지 판단하기는 어렵다.

같은 분야의 다른 프로젝트

로컬 추론 엔진 ↗