cosmonomic/pulsarlm은 지속형 챗봇과 에이전트를 위한 LLM 추론 엔진이다. 오래되고 중요도가 낮은 토큰을 컨텍스트에서 제거해 긴 대화의 크기와 추론 비용을 억제한다. 새 릴리스 버전은 주어지지 않았다.
커스텀 어텐션 커널은 토큰 페이지별 어텐션 질량을 누적하고, 일정 주기마다 질량이 낮은 페이지를 제거한다. 시스템 프롬프트와 최근 페이지는 유지한다. 과거 토큰을 지우면 대부분의 엔진이 기대하는 프리픽스 캐시가 깨질 수 있어, 컨텍스트 스냅샷을 외부 저장소에 주기적으로 남기고 최신 스냅샷에서 대화를 재개하는 구조다. 페이지 상태는 기본값 4 GiB인 호스트 메모리 LRU 캐시에 보관하며 영속화하지 않는다.
저장소는 RTX 5090의 bf16, 기본 설정에서 Gemma 4 E2B 프리필 15.8k tok/s와 단일 요청 디코드 184 tok/s를 보고한다. 16동시 요청 디코드는 2.4k tok/s이며, 프리필은 5k 토큰 프롬프트, 디코드는 512토큰 1건과 256토큰 16건 기준이다. 별도로 Qwen3 8B 수치도 프리필 6.7k tok/s, 디코드 89 tok/s로 제시한다. 현재 구현 모델은 소수이고, 테스트 범위는 x86_64와 RTX 5090에 한정된다. 다른 GPU와 aarch64 휠은 검증되지 않아 성능과 호환성 근거는 제한적이다.