ohgeebtw/geezuz-qwen3.8-27b-dual-gpu

Qwen3.8-27B GGUF를 두 GPU에서 텐서 병렬 CUDA 메가커널로 돌리고 기기 내 추측 디코딩과 공유 KV 캐시·접두 캐시를 지원하는 저장소의 소개.

GitHub 설명: Multi-GPU (tensor-parallel) CUDA megakernel for Qwen3.8-27B GGUF (Q4_K_M, Q5_K_M, Q6_K, Q8_0) with on-device MTP speculative decoding. Fork of open-jet's single-GPU megakernel, extended to 2 GPUs over P2P.

스타

★ 7

포크

2

언어

Cuda

라이선스

AGPL-3.0

최신 릴리스

v0.3.2