pegainfer-project/pegainfer

pegainfer-project/pegainfer 修改了前端，使请求中指定的随机种子(seed)不再被丢弃，而是原样传递到采样引擎。

GitHub 项目说明: Pure Rust + CUDA LLM inference engine — no PyTorch, OpenAI-compatible, serves Qwen3 to Kimi-K2

星标

★ 722

复刻

116

语言

Rust

许可证

Apache-2.0

最新版本

v0.1.1