新发现
cipheraxat/nanoserve — 基于 PyTorch 的 vLLM 风格推理引擎
cipheraxat/nanoserve 是一个基于 PyTorch 的推理引擎，提供 Qwen3，并实现了缓存与批处理功能以及 OpenAI 兼容服务器。
cipheraxat/nanoserve
cipheraxat/nanoserve 是一个基于 PyTorch 的推理引擎，提供 Qwen3，并实现了缓存与批处理功能以及 OpenAI 兼容服务器。
GitHub 项目说明: A small vLLM-style LLM inference engine in PyTorch: paged KV cache, continuous batching, chunked prefill, prefix caching, Triton paged-attention kernel, OpenAI-compatible server
在 GitHub 查看 ↗- 星标
- ★ 2
- 复刻
- 0
- 语言
- Python
- 许可证
- MIT
文章
1没有符合条件的动态。