microsoft/llmlingua

LLMLingua Series 是一个用小型语言模型移除提示词中多余 token 的项目，可实现最高 20 倍压缩且仅带来较小的性能损失；最新发布版本为 v0.2.2。

GitHub 项目说明: [EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

星标

★ 6.8K

复刻

442

语言

Python

许可证

MIT

最新版本

v0.2.2