cipheraxat/nanoserve

cipheraxat/nanoserve는 Qwen3를 제공하는 파이토치 추론 엔진으로, 캐시와 배치 처리 기능 및 OpenAI 호환 서버를 구현한다.

GitHub 설명: A small vLLM-style LLM inference engine in PyTorch: paged KV cache, continuous batching, chunked prefill, prefix caching, Triton paged-attention kernel, OpenAI-compatible server

스타

★ 2

포크

0

언어

Python

라이선스

MIT