bitsandbytes-foundation/bitsandbytes

bitsandbytes は PyTorch モデルの重みを 4·8 ビットに量子化し、推論と学習のメモリを減らす MIT ライセンスのライブラリで、最新リリースは 0.50.2 だ。

GitHub の説明: Accessible large language models via k-bit quantization for PyTorch.

投稿

新着10月21日

bitsandbytes は PyTorch モデルの重みを 4·8 ビットに量子化し、推論と学習のメモリを減らす MIT ライセンスのライブラリで、最新リリースは 0.50.2 だ。