bitsandbytes-foundation/bitsandbytes は、PyTorch モデルの重みを 4 ビットまたは 8 ビットに量子化し、推論と学習に必要なメモリを減らすライブラリである。大きな言語モデルを少ないメモリで扱うためのプロジェクトで、最新リリースは 0.50.2 だ。ただし、このバージョンの変更一覧は提示された資料に含まれていないため、何が追加・変更されたかは分からない。
量子化（quantization）は、重みの値をより少ないビット数で近似して保存容量を減らす方法である。README は、このライブラリが LLM.int8() による 8 ビット推論、QLoRA による量子化ベース学習、8 ビットオプティマイザによる学習状態メモリの削減をサポートしていると述べている。8·4 ビット演算向けの量子化プリミティブと bitsandbytes.optim モジュールを備えており、Linear4bit と Linear8bitLt レイヤーが推論時に重みが占めるメモリを減らす。ライセンスは MIT、主な言語は Python で、2021 年 6 月 4 日に作成され、記録されているスター数は 8529 個だ。
ただし、この記録にはメモリ削減率を示す数値も導入事例も存在しない。評価スコアは新規性・技術・品質が未記入で、モメンタムが 1.3 のみが残っている。サポート範囲が広いことと実際の削減効果が大きいことは同じARGSではなく、実測値が資料で確認できない限り、このライブラリは候補として比較する価値にとどまるプロジェクトである。