pegainfer-project/pegainfer

pegainfer-project/pegainfer가 요청에 지정된 난수 시드(seed)를 버리지 않고 샘플링 엔진까지 그대로 전달하도록 프런트엔드를 변경했다.

GitHub 설명: Pure Rust + CUDA LLM inference engine — no PyTorch, OpenAI-compatible, serves Qwen3 to Kimi-K2

스타

★ 722

포크

116

언어

Rust

라이선스

Apache-2.0

최신 릴리스

v0.1.1