モデルメモリ圧縮
読み込み済みのモデル重みまたは状態が占めるメモリを、最小限の品質損失で削減するランタイム手法。オフライン量子化形式の研究と推論ベンチマークスイートは含まない。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| surya-koritala/glyd | GPUメモリのBF16ウェイトとKVキャッシュを可逆圧縮し、実行時に元の値を正確に復元する。 | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| srkrz23/vramkit | LLM推論の重みとKVキャッシュを圧縮し、VRAM使用量を減らす実験を提供する。 | ★ 3 | Python | — | — |