modelcloud/gptqmodel 是一个 Python 工具包，它把大语言模型（LLM）的权重量化到较低的比特数，从而在硬件加速环境下进行推理。该仓库创建于 2024 年 6 月 17 日，按 GitHub 发布记录，最新版本是 v7.6.0。不过，给出的记录中没有 v7.6.0 的变更项清单，因此无法确认究竟改动了什么。版本信息的来源是该仓库的 GitHub 发布页面。
README 把这个仓库描述为面向 LLM 量化、验证和部署的可扩展平台。它将校准（calibration）、量化、质量评估、模型转换和加速推理整合到一个 API 中，并涵盖 GPTQ、AWQ、ParoQuant、GGUF、FP8、EXL3、QQQ 等格式。硬件加速面向 NVIDIA CUDA、AMD ROCm、Huawei Ascend、Intel XPU 以及 Intel/AMD/Apple CPU，并可与 Transformers、vLLM、SGLang 一起使用。GitHub 星标数为 1274。
不过，许可证标识仍为 NOASSERTION，因此仅凭给出的记录无法确认复用和分发条件。新鲜度、技术和质量评分均未计算，只有动量评分为 0.0，因此判断依据只停留在 README 描述和星标数上。也没有量化的损失数值，实际损失水平只有将原始模型与输出进行对比才能推测。