microsoft/llmlingua

LLMLingua Seriesは、小さな言語モデルを用いてプロンプトから不要なトークンを取り除き、小さな性能損失とともに最大20倍の圧縮を提供するプロジェクトで、最新リリースはv0.2.2である。

GitHub の説明: [EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

スター

★ 6.8K

フォーク

442

言語

Python

ライセンス

MIT

最新リリース

v0.2.2