推論メモリとキャッシュ
推論時にモデルの重み、活性化値、アテンション状態、または KV キャッシュのメモリ量を削減または仮想化する技術。展開前に行われる品質損失を伴うモデル量子化と通常の RAM 管理は含まない。
詳細分野
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| kvmem/kvmem | KVMem は llama.cpp と NInfer の間で KV メモリを仮想化し、ホストメモリと GPU の間でキャッシュをオフロードします。 | ★ 1.1K | C++ | — | v0.18.0 |
| surya-koritala/glyd | GPUメモリのBF16ウェイトとKVキャッシュを可逆圧縮し、実行時に元の値を正確に復元する。 | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| srkrz23/vramkit | LLM推論の重みとKVキャッシュを圧縮し、VRAM使用量を減らす実験を提供する。 | ★ 2 | Python | — | — |