Devotd Github
发布推理与服务

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30 — 预构建包与解码改进

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30 提供了在单张 24 字节 NVIDIA GPU 上运行 Qwen3.8-27B 的服务器的预构建包,并改进了解码速度。

仓库信息cutlerbenjamin1-cmd/qwen38-megakernel ↗

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30 提供了在单张 24 字节 NVIDIA GPU 上运行 Qwen3.8-27B 的服务器的预构建包,并改进了解码速度。

GitHub 项目说明: Standalone OpenAI-compatible server for Qwen3.8-27B on one 24 GB NVIDIA GPU: CUDA megakernel (from open-jet), CPU vision encoder, launcher

星标
★ 5
复刻
1
语言
Cuda
许可证
AGPL-3.0
最新版本
v2026.10.30
查看原始来源 ↗在 GitHub 查看 ↗

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30 发行版更新了在单张 24 GB NVIDIA GPU 上运行 Qwen3.8-27B 的服务器。根据发行摘要,本次变更包括公开预构建包和改进解码速度。解码是模型基于输入生成回答 token 的过程。该发行版以仓库中的 v2026.10.30 发行记录的形式公开。

仓库说明将本项目介绍为独立运行的 OpenAI 兼容服务器。也就是说,这是一个提供 OpenAI 兼容 API 的服务器,其核心是让 Qwen3.8-27B 在单张 24 GB NVIDIA GPU 上运行的配置。列出的组件包括取自 open-jet 的 CUDA megakernel、在 CPU 上运行的视觉编码器,以及用于启动运行的 launcher。本次发行版中的预构建包是构建并提供该服务器的变更,而所描述的运行环境限定为一张 GPU。

不过,所提供的发行摘要中没有给出解码速度改进的数值或测量条件。因此,改进幅度以及与其他配置之间的性能差异,仅凭这条记录无法判断。公开信息所能佐证的,仅限于提供了该预构建包以及速度改进这一事实,难以将其视为性能领先的依据。