プロジェクト

kvmem/kvmem

KVMem virtualizes KV memory across inference backends to make ultra-long-context local AI accessible on limited hardware.

投稿

新着OCT 18

kvmem/kvmem v0.18.0 は、KV キャッシュをホストメモリに置き、必要なときに GPU へ戻して長いコンテキストを処理する C++ プロジェクト。