cipheraxat/nanoserve

cipheraxat/nanoserve は Qwen3 を提供する PyTorch ベースの推論エンジンで、キャッシュとバッチ処理機能、および OpenAI 互換サーバーを実装している。

GitHub の説明: A small vLLM-style LLM inference engine in PyTorch: paged KV cache, continuous batching, chunked prefill, prefix caching, Triton paged-attention kernel, OpenAI-compatible server

スター

★ 2

フォーク

0

言語

Python

ライセンス

MIT