microsoft/llmlingua

LLMLingua Series는 소형 언어 모델로 프롬프트의 불필요한 토큰을 제거해 작은 성능 손실과 함께 최대 20배 압축을 제공하는 프로젝트로, 최신 릴리스는 v0.2.2다.

GitHub 설명: [EMNLP'23, ACL'24] To speed up LLMs' inference and enhance LLM's perceive of key information, compress the prompt and KV-Cache, which achieves up to 20x compression with minimal performance loss.

스타

★ 6.8K

포크

442

언어

Python

라이선스

MIT

최신 릴리스

v0.2.2