github.devotd.

ohgeebtw/geezuz-qwen3.8-27b-dual-gpu

介绍一个仓库:以张量并行的 CUDA 巨型内核在两块 GPU 上运行 Qwen3.8-27B GGUF,并支持设备内推测解码、共享 KV 缓存与前缀缓存。

GitHub 项目说明: Multi-GPU (tensor-parallel) CUDA megakernel for Qwen3.8-27B GGUF (Q4_K_M, Q5_K_M, Q6_K, Q8_0) with on-device MTP speculative decoding. Fork of open-jet's single-GPU megakernel, extended to 2 GPUs over P2P.

在 GitHub 查看 ↗
星标
★ 7
复刻
2
语言
Cuda
许可证
AGPL-3.0
最新版本
v0.3.2

文章

1