bitsandbytes-foundation/bitsandbytes는 PyTorch 모델의 가중치를 4비트나 8비트로 양자화해 추론과 학습에 필요한 메모리를 줄이는 라이브러리다. 대형 언어 모델을 더 적은 메모리로 다루기 위한 프로젝트로, 최신 릴리스는 0.50.2다. 다만 이 버전의 변경 목록은 주어진 자료에 담겨 있지 않아, 무엇이 추가되고 바뀌었는지는 알 수 없다.
양자화(quantization)는 가중치 값을 적은 비트 수로 근사해 저장 공간을 줄이는 방법이다. README는 이 라이브러리가 LLM.int8()를 통한 8비트 추론, QLoRA를 통한 양자화 기반 학습, 8비트 옵티마이저를 통한 학습 상태 메모리 절감을 지원한다고 밝힌다. 8·4비트 연산용 양자화 프리미티브와 bitsandbytes.optim 모듈을 함께 담고 있으며, Linear4bit와 Linear8bitLt 계층이 추론 시 가중치가 차지하는 메모리를 줄인다. 라이선스는 MIT, 주 언어는 Python이며 2021년 6월 4일 만들어져 기록된 별 수는 8529개다.
다만 이 기록에는 메모리 절감 폭을 보여주는 수치나 도입 사례가 없다. 평가 점수도 신규성·기술·품질이 채워지지 않고 모멘트만 1.3으로 남아 있다. 지원 범위가 넓다는 것과 실제 절감 효과가 크다는 것은 같은 말이 아니고, 실측 수치가 자료로 확인되지 않는 한 이 라이브러리는 후보로만 비교해 볼 만한 프로젝트다.