github.devotd.
新发现推理与服务

ohgeebtw/geezuz-qwen3.8-27b-dual-gpu v0.3.2 — 双 GPU 巨型内核

介绍一个仓库:以张量并行的 CUDA 巨型内核在两块 GPU 上运行 Qwen3.8-27B GGUF,并支持设备内推测解码、共享 KV 缓存与前缀缓存。

仓库信息ohgeebtw/geezuz-qwen3.8-27b-dual-gpu ↗

介绍一个仓库:以张量并行的 CUDA 巨型内核在两块 GPU 上运行 Qwen3.8-27B GGUF,并支持设备内推测解码、共享 KV 缓存与前缀缓存。

GitHub 项目说明: Multi-GPU (tensor-parallel) CUDA megakernel for Qwen3.8-27B GGUF (Q4_K_M, Q5_K_M, Q6_K, Q8_0) with on-device MTP speculative decoding. Fork of open-jet's single-GPU megakernel, extended to 2 GPUs over P2P.

星标
★ 7
复刻
2
语言
Cuda
许可证
AGPL-3.0
最新版本
v0.3.2
查看原始来源 ↗在 GitHub 查看 ↗

ohgeebtw/geezuz-qwen3.8-27b-dual-gpu 是一个在两块 GPU 上用 CUDA 巨型内核运行 Qwen3.8-27B GGUF 权重的仓库。CUDA 巨型内核(megakernel)是把多个 GPU 运算合并为一个内核来处理的方式。最新版本是 v0.3.2。该仓库采用张量并行(tensor-parallel),即把模型拆到多块 GPU 上一起计算。它是 open-jet 的一个分支,把原有的单 GPU 巨型内核通过 PCIe P2P 扩展到两块 GPU。

这个仓库的构成以多请求为前提。一个周期内最多同时解码 8 个请求,多个请求共享同一个 KV 缓存池和前缀缓存(prefix cache)。KV 缓存保存 attention 计算所需的既往 token 的键和值,前缀缓存则是把重复出现的前半部分直接复用而不再重算的存储区。设备内(on-device) MTP 推测解码(speculative decoding)先生成候选 token 并加以验证,再一次性确认多个 token。它支持 Q4_K_M、Q5_K_M、Q6_K、Q8_0 GGUF 权重格式,仓库中包含命令行执行工具和兼容 OpenAI 的服务器。README 中给出了相对 llama.cpp 平均 1.64 倍的速度,以及 top-token 一致率、KL 和 perplexity 的比较。许可证是 AGPL-3.0,主要语言是 Cuda。

不过,v0.3.2 的变更内容并未出现在依据资料中,因此这一版究竟改了什么无法确认。README 中的 1.64 倍是在特定 GPU 配置下由作者本人环境测得的值,公开的性能表也不能推广到其他环境。在外部复现得到确认之前,这更接近一项性能主张,而不是已经确立的速度优势。再考虑到这是一个 2026 年 10 月创建、只有 7 个 star 的仓库,现在就断定它比其他实现更快还为时过早。