cosmonomic/pulsarlm は、持続的なチャットボットとエージェント向けの LLM 推論エンジンである。古い・重要性の低いトークンをコンテキストから取り除き、長い対話のサイズと推論コストを抑える。新しいリリースバージョンは示されていない。
カスタムアテンションカーネルはトークンページごとにアテンションマスを蓄積し、一定間隔で質量の低いページを除去する。システムプロンプトと最近のページは保持される。過去トークンを削除すると多くのエンジンが前提とするプレフィックスキャッシュが壊れる可能性があるため、コンテキストのスナップショットを外部ストレージに定期的に保存し、最新スナップショットから対話を再開する構成になっている。ページ状態は既定で 4 GiB のホストメモリ LRU キャッシュに保持され、永続化されない。
リポジトリは RTX 5090 上の bf16 について、デフォルト設定の Gemma 4 E2B でプリフィル 15.8k tok/s、単一リクエストのデコード 184 tok/s を報告している。16 並列リクエストのデコードは 2.4k tok/s で、プリフィルは 5k トークンのプロンプト、デコードは 512 トークン 1 件と 256 トークン 16 件を基準とする。別途 Qwen3 8B の数値としてプリフィル 6.7k tok/s、デコード 89 tok/s が示されている。現在の実装モデルは少なく、テスト範囲は x86_64 と RTX 5090 に限定される。他の GPU と aarch64 ホイールは未検証のため、性能と互換性の根拠は限定的である。