modelcloud/gptqmodel

modelcloud/gptqmodel 是一个 Python 工具包，它把 LLM 权重量化到较低比特数，从而提供 GPU 与 CPU 加速推理，其最新版本是 v7.6.0。

GitHub 项目说明: LLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.

星标

★ 1.3K

复刻

211

语言

Python

许可证

NOASSERTION

最新版本

v7.6.0