bitsandbytes-foundation/bitsandbytes

bitsandbytes는 PyTorch 모델의 가중치를 4·8비트로 양자화해 추론과 학습 메모리를 줄이는 MIT 라이브러리이며, 최신 릴리스는 0.50.2다.

GitHub 설명: Accessible large language models via k-bit quantization for PyTorch.

스타

★ 8.5K

포크

939

언어

Python

라이선스

MIT

최신 릴리스

0.50.2