github.devotd.
新发现推理与服务

bitsandbytes-foundation/bitsandbytes 0.50.2 — 4·8 位量化

bitsandbytes 是一个 MIT 许可的库,它将 PyTorch 模型的权重量化为 4·8 位,以减少推理和训练所需的内存;最新版本为 0.50.2。

仓库信息bitsandbytes-foundation/bitsandbytes ↗

bitsandbytes 是一个 MIT 许可的库,它将 PyTorch 模型的权重量化为 4·8 位,以减少推理和训练所需的内存;最新版本为 0.50.2。

GitHub 项目说明: Accessible large language models via k-bit quantization for PyTorch.

星标
★ 8.5K
复刻
939
语言
Python
许可证
MIT
最新版本
0.50.2
查看原始来源 ↗在 GitHub 查看 ↗

bitsandbytes-foundation/bitsandbytes 是一个库,它将 PyTorch 模型的权重量化为 4 位或 8 位,以减少推理和训练所需的内存。它是一个以更少内存应对大语言模型的项目,最新版本为 0.50.2。不过,所给资料中没有包含该版本的变更清单,因此无法得知新增和修改了哪些内容。

量化(quantization)是用更少的比特数近似权重值以减少存储空间的方法。README 说明该库支持通过 LLM.int8() 进行 8 位推理、通过 QLoRA 进行基于量化的训练,以及通过 8 位优化器节省优化器状态内存。它同时提供用于 8·4 位计算的量化原语和 bitsandbytes.optim 模块,Linear4bit 与 Linear8bitLt 层可减少推理时权重占用的内存。许可证为 MIT,主要语言为 Python,创建于 2021 年 6 月 4 日,记录的星标数为 8529。

不过,这份记录中没有展示内存节省幅度的数值,也没有采用案例。评估分数中新颖性、技术、质量均为空,只有热度为 1.3。支持范围广与实际节省效果大并不是一回事,在实测数据无法从资料中得到确认之前,这个库只值得作为候选项目加以比较。