kekzl/imp は NVIDIA Blackwell GPU 1 枚を対象とする C++23 LLM サーバーである。最新リリースは v0.59.2 だ。提供された情報には、このバージョンで新たに変更された項目が個別に示されていない。コンテナ 1 つで実行し、OpenAI および Anthropic 互換 API とツール呼び出しに対応する。
このサーバーは Blackwell(sm_120a) のネイティブ 4 ビット演算とテンソルコア、低精度演算パスに注力する。入力形式は GGUF と NVFP4 である。README は RTX 5090 で実行した測定値と比較基準を公開している。Qwen3.8-27B を単一ユーザーで実行した結果は毎秒 96.3 トークンである。同じ測定では、speculative decoding なしの vLLM より 1.38 倍、同じ GGUF を使用した llama.cpp より 1.23 倍速いと記録されている。32 GB のカードで 123.6 GiB の Qwen3.8-Flash-Next を毎秒 92.1 トークンでサーブする値もある。
適用範囲は単一の Blackwell GPU 環境に限定される。README は単一 GPU 以外の環境には対応しないと明記しており、対象は GeForce RTX 50 と RTX PRO シリーズである。したがって、公開された数値と機能は、他の GPU や複数 GPU を使用する環境の根拠にはならない。比較結果も README に記載された条件の範囲内で読む必要があり、このサーバーの対応範囲は狭い方に属する。