github.devotd.
新发现推理与服务

syv-ai/hyperqwen — 针对 24GB GPU 的 Qwen3.8-27B 推理优化

syv-ai/hyperqwen 通过 vLLM 补丁和模型准备流程,给出了在单张 24GB GPU 上部署 Qwen3.8-27B 的方案,以及作者自行测得的性能数据。

仓库信息syv-ai/hyperqwen ↗

Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer quotes the prompt), ~1,035 tok/s at 64 concurrent, 150k-262k context. vLLM patches, requant pipeline, benchmarks.

星标
★ 2K
复刻
281
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

syv-ai/hyperqwen 是一个仓库,提供用于在单张 24GB GPU 上部署 Qwen3.8-27B 的 vLLM 补丁和模型准备流程。它并不局限于某一种特定部署配置,而是把重新量化后的权重、修正后的草稿词表,以及利用从提示词中提取的片段进行推测解码等作为其组成部分。该仓库使用 Python 语言编写,采用 Apache-2.0 许可证。

其目标是让大型 Qwen 模型运行在单张消费级 GPU 上。README 给出了一个兼容 OpenAI 的 API,支持 15 万至 26.2 万 token 的上下文长度以及密钥认证。单用户和多用户分别有独立的 Docker Compose 配置,镜像大小为 9.5GB。文档提示首次启动时进行模型重新量化约需 20GB 空间。补丁以及应用和验证脚本也一并提供,便于回退这些改动。

据 README 所述,在 RTX 3090、250W 条件下,单用户吞吐为每秒 127 token,当回答引用提示词内容时为每秒 381 token。在 64 个并发请求下,合计吞吐为每秒 1,035 token。这些均为作者自测数据。文档中没有给出在相同 GPU 上与原版 vLLM 的对比,因此其性能优势未经独立验证。更稳妥的看法是,把这些数字看作一份需要复现的部署配方所得到的结果,而非已验证的优势。