microsoft/llmlingua는 대규모 언어 모델(LLM)에 넣을 프롬프트를 압축하는 Python 프로젝트다. 저장소 설명은 프롬프트와 KV-Cache를 줄여 추론을 빠르게 한다고 밝히고, 최신 릴리스는 v0.2.2다. 프롬프트 압축은 모델 입력에 들어가는 토큰 중 불필요한 부분을 덜어내 더 짧게 전달하는 방법이다. 이 프로젝트는 더 작은 언어 모델로 무엇을 지울지 판단해 압축 단계를 맡는다.
LLMLingua Series라는 이름 아래 여러 갈래가 담겨 있다. LLMLingua는 최대 20배 압축을 작은 성능 손실과 함께 달성한다고 저장소 설명에 적혀 있다. LongLLMLingua는 긴 문맥 처리와 RAG 성능 향상을, LLMLingua-2는 과업에 구애받지 않는 프롬프트 압축을 다룬다. SecurityLingua는 보안 인식 프롬프트 압축으로 LLM 탈옥 공격을 탐지하고 안전한 응답 생성을 돕는 안전 가드레일 모델이다. 구현 언어는 Python이고 라이선스는 MIT이며, 2023년 7월 7일 처음 공개됐다. 저장소 설명 맨 앞에는 EMNLP'23과 ACL'24가 적혀 있고 스타 수는 6762개다.
다만 근거는 저장소 설명과 README가 밝힌 범위에 머문다. 최대 20배 압축과 작은 성능 손실은 설명 문구에 적힌 값일 뿐, 조건별 벤치마크나 다른 압축 방식과의 비교 수치는 제공되지 않는다. v0.2.2가 무엇을 바꿨는지는 릴리스 노트를 직접 확인해야 한다. 수집된 지표는 10점 만점 기준 모멘텀 2.1이고 참신성·기술·품질 항목은 비어 있다. 스타 수는 관심도를 보여줄 뿐 성능을 입증하지 않는다. 긴 RAG 문서와 대화 기록을 압축해 입력 토큰을 줄이려는 팀에 참고할 만한 선택지지만, 어떤 모델과 과업에서 손실이 얼마나 남는지는 직접 확인할 때까지 기대치로 삼기 어렵다.