Devotd Github
新发现推理与服务

kekzl/imp — 面向 Blackwell 的 C++23 LLM 服务器

kekzl/imp 是一款面向单张 NVIDIA Blackwell GPU 的 LLM 服务器,提供 API、模型输入格式以及公开的性能测量数据。

仓库信息kekzl/imp ↗

kekzl/imp 是一款面向单张 NVIDIA Blackwell GPU 的 LLM 服务器,提供 API、模型输入格式以及公开的性能测量数据。

GitHub 项目说明: LLM server for NVIDIA Blackwell only (GeForce RTX 50, RTX PRO). On one RTX 5090, Qwen3.8-27B one user: 96.3 tok/s, 1.38x vLLM without speculative decoding, 1.23x llama.cpp on the same GGUF. Serves the 123.6 GiB Qwen3.8-Flash-Next from a 32 GB card at 92.1 tok/s. OpenAI and Anthropic API, tool calls, one docker run.

星标
★ 48
复刻
4
语言
C++
许可证
MIT
最新版本
v0.59.2
查看原始来源 ↗在 GitHub 查看 ↗

kekzl/imp 是一款以单张 NVIDIA Blackwell GPU 为目标的 C++23 LLM 服务器。最新版本为 v0.59.2。所提供的信息中并未单独列出该版本发生了哪些变更。它以单个容器运行,支持 OpenAI 与 Anthropic 兼容的 API 以及工具调用。

该服务器专注于 Blackwell(sm_120a) 的原生 4 位运算、张量核心以及低精度运算路径。输入格式为 GGUF 和 NVFP4。README 公开了在 RTX 5090 上运行的测量结果与比较基准。以单用户运行 Qwen3.8-27B 的结果为每秒 96.3 个 token。在同一测量中,据记录它比不使用推测解码的 vLLM 快 1.38 倍,比使用相同 GGUF 的 llama.cpp 快 1.23 倍。另有数据为:在 32 GB 显卡上以每秒 92.1 个 token 提供大小为 123.6 GiB 的 Qwen3.8-Flash-Next 服务。

适用范围仅限于单张 Blackwell GPU 的环境。README 明确说明不支持单张 GPU 以外的环境,目标硬件为 GeForce RTX 50 与 RTX PRO 系列。因此,已公开的数值与功能不能作为其他 GPU 或多 GPU 环境的依据。比较结果同样需要在 README 所载明的条件范围内来理解,本服务器的支持范围相对较窄。