kekzl/imp

kekzl/imp는 NVIDIA Blackwell GPU 한 장을 대상으로 API와 모델 입력 형식, 공개된 성능 측정치를 제공하는 LLM 서버다.

GitHub 설명: LLM server for NVIDIA Blackwell only (GeForce RTX 50, RTX PRO). On one RTX 5090, Qwen3.8-27B one user: 96.3 tok/s, 1.38x vLLM without speculative decoding, 1.23x llama.cpp on the same GGUF. Serves the 123.6 GiB Qwen3.8-Flash-Next from a 32 GB card at 92.1 tok/s. OpenAI and Anthropic API, tool calls, one docker run.

스타

★ 48

포크

4

언어

C++

라이선스

MIT

최신 릴리스

v0.59.2