github.devotd.

模型内存压缩

在运行时以极小的质量损失减少已加载模型权重或状态的内存占用;不包括离线量化格式研究和推理基准测试套件。

该领域的项目 (2)
项目用途Star语言许可证最新版本
surya-koritala/glyd无损运行时编解码器可压缩GPU内存中的BF16权重和KV缓存,并精确恢复原值。★ 255RustNOASSERTIONv0.32.1
srkrz23/vramkit提供用于压缩LLM推理权重和KV缓存的实验方案,以减少显存占用。★ 3Python——