cipheraxat/nanoserve は PyTorch で構築された小規模言語モデル向け推論エンジンである。登録されている最新リリースは FACTS に記載がなく、バージョン番号が示された更新も確認できなかった。リポジトリの説明によると、ページ単位のキー・値キャッシュ、連続バッチ処理、チャンク化プリフィル、プレフィックスキャッシュ、OpenAI 互換サーバーを実装している。再計算ベースのプリエンプションと Triton の paged-attention カーネルも含まれる。
このエンジンは Qwen3 モデルを互換インターフェースで提供する。キー・値キャッシュはモデルが以前のトークン情報を保持する仕組みであり、このリポジトリではそれを固定サイズのブロックで管理している。連続バッチ処理とチャンク化プリフィルは複数のリクエストと入力を処理する経路であり、プレフィックスキャッシュは冒頭の部分が共通するリクエスト間でその結果を再利用する。また Triton でページ単位の attention 計算カーネルを実装し、OpenAI 互換サーバーを提供する。ライセンスは MIT、実装言語は Python である。
README によれば、自動テストは連続バッチ処理やキャッシュ再利用など複数の条件の下で、生成されたトークンが基準トランスフォーマーの結果と一致するかどうかを確認する。これはトークン結果の一致性に関する説明であり、性能を裏付ける数値は FACTS に示されていない。したがって、現時点で確認できるのは機能の実装と結果一致試験の範囲に限られ、実際のスループットやレイテンシは判断できない。