新发现
syv-ai/hyperqwen — 针对 24GB GPU 的 Qwen3.8-27B 推理优化
syv-ai/hyperqwen 通过 vLLM 补丁和模型准备流程，给出了在单张 24GB GPU 上部署 Qwen3.8-27B 的方案，以及作者自行测得的性能数据。
项目
syv-ai/hyperqwen
Serve large Qwen models fast on the GPUs you actually own. Qwen3.8-27B on a single 24 GB card with vLLM: 127 tok/s single-user (381 when the answer quotes the prompt), ~1,035 tok/s at 64 concurrent, 150k-262k context. vLLM patches, requant pipeline, benchmarks.
在 GitHub 查看 ↗- 星标
- ★ 2K
- 复刻
- 281
- 语言
- Python
- 许可证
- Apache-2.0
- 最新版本
- —
文章
1没有符合条件的动态。