模型内存压缩
在运行时以极小的质量损失减少已加载模型权重或状态的内存占用;不包括离线量化格式研究和推理基准测试套件。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| surya-koritala/glyd | 无损运行时编解码器可压缩GPU内存中的BF16权重和KV缓存,并精确恢复原值。 | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| srkrz23/vramkit | 提供用于压缩LLM推理权重和KV缓存的实验方案,以减少显存占用。 | ★ 3 | Python | — | — |
在运行时以极小的质量损失减少已加载模型权重或状态的内存占用;不包括离线量化格式研究和推理基准测试套件。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| surya-koritala/glyd | 无损运行时编解码器可压缩GPU内存中的BF16权重和KV缓存,并精确恢复原值。 | ★ 255 | Rust | NOASSERTION | v0.32.1 |
| srkrz23/vramkit | 提供用于压缩LLM推理权重和KV缓存的实验方案,以减少显存占用。 | ★ 3 | Python | — | — |