modelcloud/gptqmodel

modelcloud/gptqmodel은 LLM 가중치를 저비트로 양자화해 GPU·CPU 가속 추론을 제공하는 Python 툴킷이며, 최신 릴리스는 v7.6.0이다.

GitHub 설명: LLM model quantization (compression) toolkit with HW acceleration support for Nvidia, AMD, Intel GPU and Intel/AMD/Apple CPU via HF, vLLM, and SGLang.

스타

★ 1.3K

포크

211

언어

Python

라이선스

NOASSERTION

최신 릴리스

v7.6.0