pegainfer-project/pegainfer

pegainfer-project/pegainfer は、リクエストで指定された乱数シード(seed)を破棄せず、そのままサンプリングエンジンまで渡すようにフロントエンドを変更した。

GitHub の説明: Pure Rust + CUDA LLM inference engine — no PyTorch, OpenAI-compatible, serves Qwen3 to Kimi-K2

スター

★ 722

フォーク

116

言語

Rust

ライセンス

Apache-2.0

最新リリース

v0.1.1