microsoft/llmlinguaは、大規模言語モデル（LLM）に渡すプロンプトを圧縮するPythonプロジェクトである。リポジトリの説明は、プロンプトとKV-Cacheを削減して推論を高速化すると述べており、最新リリースはv0.2.2である。プロンプト圧縮とは、モデル入力に入るトークンのうち不要な部分を削り、より短く渡す手法である。このプロジェクトはより小さな言語モデルで何を除くかを判断し、圧縮の工程を担っている。
LLMLingua Seriesという名前のもとで複数の系統がまとめられている。リポジトリの説明には、LLMLinguaは小さな性能損失とともに最大20倍の圧縮を達成すると記されている。LongLLMLinguaは長い文脈の処理とRAG性能の向上を、LLMLingua-2はタスク非依存のプロンプト圧縮を扱う。SecurityLinguaはセキュリティ考慮のプロンプト圧縮を行うセーフティガードレールモデルで、LLMのジェイルブレイク攻撃を検知し、安全な応答の生成を支援する。実装言語はPython、ライセンスはMITで、2023年7月7日に初めて公開された。リポジトリ説明の冒頭にはEMNLP'23とACL'24が記載され、スター数は6762である。
ただし根拠はリポジトリの説明とREADMEが示す範囲にとどまる。最大20倍の圧縮と小さな性能損失は説明文に記載された値にすぎず、条件別のベンチマークや他の圧縮方式との比較数値は提供されていない。v0.2.2が何を変えたかはリリースノートを直接確認する必要がある。収集された指標は10点満点基準のモメンタム2.1で、新規性・技術・品質の項目は空である。スター数は関心の高さを示すだけで、性能を証明するものではない。長いRAG文書や会話履歴を圧縮して入力トークンを減らしたいチームにとって参照に値する選択肢だが、どのモデル・タスクでどの程度の損失が残るかは直接確認するまで期待値として捉えにくい。