bitsandbytes-foundation/bitsandbytes

bitsandbytes 是一个 MIT 许可的库，它将 PyTorch 模型的权重量化为 4·8 位，以减少推理和训练所需的内存；最新版本为 0.50.2。

GitHub 项目说明: Accessible large language models via k-bit quantization for PyTorch.

星标

★ 8.5K

复刻

939

语言

Python

许可证

MIT

最新版本

0.50.2