github.devotd.
新发现推理与服务

vllm-project/llm-compressor 0.14.0 — 面向 vLLM 的模型压缩库

介绍 vllm-project/llm-compressor 0.14.0 中已记录的模型压缩与量化功能,以及可确认的范围。

仓库信息vllm-project/llm-compressor ↗

State-of-the-art LLM compression, built for production inference with vLLM

星标
★ 3.9K
复刻
699
语言
Python
许可证
Apache-2.0
最新版本
0.14.0
查看原始来源 ↗在 GitHub 查看 ↗

vllm-project/llm-compressor 的最新版本是 0.14.0。它是一个用于为 vLLM 部署压缩和量化模型的 Python 库。所提供的资料中没有列出 0.14.0 的具体变更项,因此无法确认该版本的改动内容。

量化是把模型的数值表示改为更低精度的方式。该仓库以统一的工作流提供 GPTQ、AWQ 等算法,以及权重、激活值、KV 缓存和 attention 量化。它与 Hugging Face 模型及仓库集成,并能把压缩后的模型保存为 vLLM 兼容的 compressed-tensors 格式。README 中还写明支持面向大模型的 DDP 和磁盘卸载。因此,它是一套涵盖从模型压缩到按适合 vLLM 部署的格式保存这一全过程工具。

不过,这些功能属于仓库 README 中记载的范围,所提供的资料没有给出体现压缩率或服务性能的数值,也没有与其他工具的对比。仅凭存在量化算法和处理路径,无法判断真实部署环境中的内存节省量或速度提升。由于 0.14.0 的变更点同样没有给出,这份资料能够确认的仅限于该库的用途及其已记录的功能。