modelcloud/gptqmodel

modelcloud/gptqmodel は LLM の重みを低いビット数に量子化し、GPU・CPU によるアクセラレーション推論を提供する Python ツールキットで、最新リリースは v7.6.0 である。

GitHub の説明: LLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.

スター

★ 1.3K

フォーク

211

言語

Python

ライセンス

NOASSERTION

最新リリース

v7.6.0