kvmem/kvmem は、推論中に会話を覚えておく KV キャッシュをホストメモリに置き、必要なときに GPU へ戻すことで長いコンテキストを扱う C++ プロジェクトだ。GitHub リポジトリで公開されている最新バージョンは v0.18.0 である。提供された資料にはこのバージョンの変更履歴がなく、具体的に何が追加されたかは確認できない。
このプロジェクトは、llama.cpp と NInfer が共有メモリ・検索・保存の方式を共有しながら、各バックエンドの推論は維持する構成になっている。デフォルトのレシピはコンテキスト 204800、GPU 履歴予算 36864、生成予約 16384、ホスト KV 12288 MiB、sink 5120 と recent 64 トークンとして示される。recent 64 は NInfer が許す最小値であり、llama.cpp のデフォルトブロック 128 とは意味が異なる。リポジトリは、この2 つの値をそのまま移さないよう案内している。
検証の範囲は限定的だ。性能数値は RTX 5060 Ti 16 GB という1 つの構成で確認されたもので、NInfer の Windows 配布パッケージには sm75 と sm70 のハードウェア試験向けの RC1 があるが、実機 GPU の適合性検証はまだ完了していない。リポジトリには arXiv 論文 2609.04852、27 ファイルの C++ テスト、バックエンドのバージョンマニフェスト、SHA256 チェックサムファイルがある。ただしこれらの資料だけでは、他のハードウェアでの性能や互換性は判断しにくい。