ohgeebtw/geezuz-qwen3.8-27b-dual-gpu 是一个在两块 GPU 上用 CUDA 巨型内核运行 Qwen3.8-27B GGUF 权重的仓库。CUDA 巨型内核(megakernel)是把多个 GPU 运算合并为一个内核来处理的方式。最新版本是 v0.3.2。该仓库采用张量并行(tensor-parallel),即把模型拆到多块 GPU 上一起计算。它是 open-jet 的一个分支,把原有的单 GPU 巨型内核通过 PCIe P2P 扩展到两块 GPU。
这个仓库的构成以多请求为前提。一个周期内最多同时解码 8 个请求,多个请求共享同一个 KV 缓存池和前缀缓存(prefix cache)。KV 缓存保存 attention 计算所需的既往 token 的键和值,前缀缓存则是把重复出现的前半部分直接复用而不再重算的存储区。设备内(on-device) MTP 推测解码(speculative decoding)先生成候选 token 并加以验证,再一次性确认多个 token。它支持 Q4_K_M、Q5_K_M、Q6_K、Q8_0 GGUF 权重格式,仓库中包含命令行执行工具和兼容 OpenAI 的服务器。README 中给出了相对 llama.cpp 平均 1.64 倍的速度,以及 top-token 一致率、KL 和 perplexity 的比较。许可证是 AGPL-3.0,主要语言是 Cuda。
不过,v0.3.2 的变更内容并未出现在依据资料中,因此这一版究竟改了什么无法确认。README 中的 1.64 倍是在特定 GPU 配置下由作者本人环境测得的值,公开的性能表也不能推广到其他环境。在外部复现得到确认之前,这更接近一项性能主张,而不是已经确立的速度优势。再考虑到这是一个 2026 年 10 月创建、只有 7 个 star 的仓库,现在就断定它比其他实现更快还为时过早。