vllm-project/llm-compressor 的最新版本是 0.14.0。它是一个用于为 vLLM 部署压缩和量化模型的 Python 库。所提供的资料中没有列出 0.14.0 的具体变更项,因此无法确认该版本的改动内容。
量化是把模型的数值表示改为更低精度的方式。该仓库以统一的工作流提供 GPTQ、AWQ 等算法,以及权重、激活值、KV 缓存和 attention 量化。它与 Hugging Face 模型及仓库集成,并能把压缩后的模型保存为 vLLM 兼容的 compressed-tensors 格式。README 中还写明支持面向大模型的 DDP 和磁盘卸载。因此,它是一套涵盖从模型压缩到按适合 vLLM 部署的格式保存这一全过程工具。
不过,这些功能属于仓库 README 中记载的范围,所提供的资料没有给出体现压缩率或服务性能的数值,也没有与其他工具的对比。仅凭存在量化算法和处理路径,无法判断真实部署环境中的内存节省量或速度提升。由于 0.14.0 的变更点同样没有给出,这份资料能够确认的仅限于该库的用途及其已记录的功能。