cipheraxat/nanoserve — 基于 PyTorch 的 vLLM 风格推理引擎

cipheraxat/nanoserve 是用 PyTorch 构建的小型语言模型推理引擎。已登记的最新发布版本不在 FACTS 中，也未能确认任何给出版本号的更新。根据仓库说明，它实现了基于页面的键值缓存、连续批处理、分块预填充、前缀缓存以及 OpenAI 兼容服务器。其中还包含基于重计算的抢占机制和 Triton 分页注意力内核。

该引擎通过兼容接口提供 Qwen3 模型。键值缓存是模型保存先前 token 信息的方式，该仓库将其以固定大小的块进行管理。连续批处理和分块预填充是处理多个请求与输入的路径，前缀缓存则在开头部分相同的请求之间复用这些结果。此外，它用 Triton 实现了基于页面的注意力计算内核，并提供 OpenAI 兼容服务器。许可证为 MIT，实现语言为 Python。

据 README 所述，自动化测试会在连续批处理、缓存复用等多种条件下，检查生成的 token 是否与参考转换器的结果一致。这只是关于 token 结果一致性的说明，FACTS 中并未给出能够证明性能的数据。因此目前能够确认的内容仅限于功能实现和结果一致性测试的范围，实际吞吐量或延迟无法判断。