cipheraxat/nanoserve는 파이토치로 만든 소형 언어 모델 추론 엔진이다. 등록된 최신 릴리스는 FACTS에 없으며, 버전이 제시된 업데이트도 확인되지 않는다. 저장소 설명에 따르면 페이지 단위 키·값 캐시, 연속 배치 처리, 분할 사전 채움, 접두사 캐시와 OpenAI 호환 서버를 구현한다. 재계산 기반 선점과 Triton paged-attention 커널도 포함한다.
이 엔진은 Qwen3 모델을 호환 인터페이스로 제공한다. 키·값 캐시는 모델이 이전 토큰 정보를 보관하는 방식이며, 이 저장소는 이를 고정 크기 블록으로 관리한다. 연속 배치 처리와 분할 사전 채움은 여러 요청과 입력을 처리하는 경로이고, 접두사 캐시는 앞부분이 같은 요청에서 그 결과를 재사용한다. 또한 Triton으로 페이지 단위 attention 계산 커널을 구현하고, OpenAI 호환 서버를 제공한다. 라이선스는 MIT이며 구현 언어는 Python이다.
README에 따르면 자동 시험은 연속 배치 처리와 캐시 재사용 등 여러 조건에서 생성 토큰이 기준 변환기 결과와 일치하는지 확인한다. 이는 토큰 결과의 일치 여부에 관한 설명이며, 성능을 입증하는 수치는 FACTS에 제시되어 있지 않다. 따라서 현재 확인되는 내용은 기능 구현과 결과 일치 시험의 범위에 한정되며, 실제 처리량이나 지연 시간은 판단할 수 없다.