github.devotd.
새 소식추론/서빙

ohgeebtw/geezuz-qwen3.8-27b-dual-gpu v0.3.2 — 2GPU 메가커널

Qwen3.8-27B GGUF를 두 GPU에서 텐서 병렬 CUDA 메가커널로 돌리고 기기 내 추측 디코딩과 공유 KV 캐시·접두 캐시를 지원하는 저장소의 소개.

저장소 정보ohgeebtw/geezuz-qwen3.8-27b-dual-gpu ↗

Qwen3.8-27B GGUF를 두 GPU에서 텐서 병렬 CUDA 메가커널로 돌리고 기기 내 추측 디코딩과 공유 KV 캐시·접두 캐시를 지원하는 저장소의 소개.

GitHub 설명: Multi-GPU (tensor-parallel) CUDA megakernel for Qwen3.8-27B GGUF (Q4_K_M, Q5_K_M, Q6_K, Q8_0) with on-device MTP speculative decoding. Fork of open-jet's single-GPU megakernel, extended to 2 GPUs over P2P.

스타
★ 7
포크
2
언어
Cuda
라이선스
AGPL-3.0
최신 릴리스
v0.3.2
원문 보기 ↗GitHub에서 보기 ↗

ohgeebtw/geezuz-qwen3.8-27b-dual-gpu는 Qwen3.8-27B GGUF 가중치를 두 GPU에서 CUDA 메가커널로 실행하는 저장소다. CUDA 메가커널(megakernel)은 여러 GPU 연산을 하나의 커널로 묶어 처리하는 방식이다. 최신 릴리스는 v0.3.2다. 이 저장소는 텐서 병렬(tensor-parallel), 즉 모델을 여러 GPU에 나누어 함께 계산하는 방식을 쓴다. open-jet의 단일 GPU 메가커널을 PCIe P2P로 두 GPU까지 확장한 포크다.

이 저장소의 구조는 여러 요청을 전제로 한다. 한 사이클에 최대 8개 요청을 함께 디코딩하고, 여러 요청이 하나의 KV 캐시 풀과 접두 캐시(prefix cache)를 공유한다. KV 캐시는 attention 계산에 필요한 이전 토큰의 키와 값을 보관하는 영역이고, 접두 캐시는 반복되는 앞부분을 다시 계산하지 않고 재사용하는 저장소다. 기기 내(on-device) MTP 추측 디코딩(speculative decoding)은 후보 토큰을 먼저 만들어 검증한 뒤 여러 토큰을 한 번에 확정하는 방식이다. 가중치는 Q4_K_M, Q5_K_M, Q6_K, Q8_0 GGUF 형식을 지원하고, 저장소에는 명령줄 실행 도구와 OpenAI 호환 서버가 들어 있다. README에는 llama.cpp 대비 평균 1.64배 속도와 top-token 일치율·KL·perplexity 비교가 실려 있다. 라이선스는 AGPL-3.0이고 주 언어는 Cuda다.

다만 v0.3.2의 변경 항목은 근거 자료에 실려 있지 않아, 이번 판에서 무엇이 달라졌는지는 확인할 수 없다. README의 1.64배 수치는 특정 GPU 구성에서 작성자 환경으로 측정한 값이며, 공개 성능표는 다른 환경의 성능으로 일반화되지 않는다. 외부 재현이 확인되기 전까지는 속도 우위라기보다 성능 주장에 가깝다. 2026년 10월 만들어진 별 7개짜리 저장소라는 점까지 감안하면, 지금 단계에서 다른 구현보다 빠르다고 단정하기는 이르다.