syv-ai/hyperqwen 是一个仓库,提供用于在单张 24GB GPU 上部署 Qwen3.8-27B 的 vLLM 补丁和模型准备流程。它并不局限于某一种特定部署配置,而是把重新量化后的权重、修正后的草稿词表,以及利用从提示词中提取的片段进行推测解码等作为其组成部分。该仓库使用 Python 语言编写,采用 Apache-2.0 许可证。
其目标是让大型 Qwen 模型运行在单张消费级 GPU 上。README 给出了一个兼容 OpenAI 的 API,支持 15 万至 26.2 万 token 的上下文长度以及密钥认证。单用户和多用户分别有独立的 Docker Compose 配置,镜像大小为 9.5GB。文档提示首次启动时进行模型重新量化约需 20GB 空间。补丁以及应用和验证脚本也一并提供,便于回退这些改动。
据 README 所述,在 RTX 3090、250W 条件下,单用户吞吐为每秒 127 token,当回答引用提示词内容时为每秒 381 token。在 64 个并发请求下,合计吞吐为每秒 1,035 token。这些均为作者自测数据。文档中没有给出在相同 GPU 上与原版 vLLM 的对比,因此其性能优势未经独立验证。更稳妥的看法是,把这些数字看作一份需要复现的部署配方所得到的结果,而非已验证的优势。