cutlerbenjamin1-cmd/qwen38-megakernel 是在单张 24GB NVIDIA GPU 上运行 Qwen3.8-27B 的独立 CUDA 引擎与服务器。最新版本为 v2026.10.25。CUDA megakernel 来自 open-jet,同时还提供在 CPU 上运行的视觉编码器与执行器。项目说明也指出支持 OpenAI、Anthropic、Responses API 形式的接入。本次发布有哪些变化,所给资料中并未说明。
该项目介绍了利用模型的多令牌预测头来生成下一个 token 的推理方式:一步之中最多提出并验证 7 个草稿 token。内容还涉及对话缓存复用以及键值缓存策略,README 中给出了与 llama.cpp 对比的速度与响应一致性测量结果,以及相应的测试方法。生成一致性、缓存复用,以及 Windows 与 Linux 之间的一致性验证在另外的资料中说明。许可证为 AGPL-3.0。
不过,所给资料既没有测量数值本身,也没有版本变更记录,因此难以判断性能提升的幅度以及本次版本的意义。对于一个仅有 3 个 star 的仓库,把它当作单模型优化案例来看还是值得的;但要将其评价为通用服务工具,证据仍然有限。