kekzl/imp 是一款以单张 NVIDIA Blackwell GPU 为目标的 C++23 LLM 服务器。最新版本为 v0.59.2。所提供的信息中并未单独列出该版本发生了哪些变更。它以单个容器运行,支持 OpenAI 与 Anthropic 兼容的 API 以及工具调用。
该服务器专注于 Blackwell(sm_120a) 的原生 4 位运算、张量核心以及低精度运算路径。输入格式为 GGUF 和 NVFP4。README 公开了在 RTX 5090 上运行的测量结果与比较基准。以单用户运行 Qwen3.8-27B 的结果为每秒 96.3 个 token。在同一测量中,据记录它比不使用推测解码的 vLLM 快 1.38 倍,比使用相同 GGUF 的 llama.cpp 快 1.23 倍。另有数据为:在 32 GB 显卡上以每秒 92.1 个 token 提供大小为 123.6 GiB 的 Qwen3.8-Flash-Next 服务。
适用范围仅限于单张 Blackwell GPU 的环境。README 明确说明不支持单张 GPU 以外的环境,目标硬件为 GeForce RTX 50 与 RTX PRO 系列。因此,已公开的数值与功能不能作为其他 GPU 或多 GPU 环境的依据。比较结果同样需要在 README 所载明的条件范围内来理解,本服务器的支持范围相对较窄。