github.devotd.
新着LLMインフラ

headroomlabs-ai/headroom v0.41.0 — LLM 入力圧縮ツール

headroomlabs-ai/headroom はエージェントがモデルに送るツール出力などを圧縮するツールで、最新リリースと独自のベンチマーク結果が公開されている。

リポジトリ情報headroomlabs-ai/headroom ↗

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

スター
★ 75.6K
フォーク
5.9K
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.41.0
原文を見る ↗GitHub で見る ↗

headroomlabs-ai/headroom は、ツール出力・ログ・ファイル・RAG チャンクを LLM に送る前に圧縮して入力トークンを減らす、Python ベースのツールである。最新リリースはリポジトリに記載の v0.41.0。FACTS にはこのバージョンの具体的な変更内容が記載されておらず、何が変わったかは確認できない。ライブラリ、プロキシ、MCP サーバーとして提供され、ライセンスは Apache-2.0。

圧縮方式は形式ごとに分かれる。JSON は SmartCrusher、コードは AST ベースの CodeCompressor、文章は Kompress-v2-base が担当する。CacheAligner はプロバイダーのキーキャッシュを壊し得る変動要素を表示し、CCR は原本をローカルに保管して必要なときに取り出せるようにする。README の独自ベンチマークでは、コード検索が 17199 トークンから 13597 トークンへ、SRE 障害分析が 55957 トークンから 24340 トークンへ減少した。コードベース探索は 58801 から 33895 トークン|Issue 分類は 46067 から 32429 トークンに減った。リポジトリの説明はコーディングエージェントで 20%、JSON 系で 60~95% のトークン削減を主張する。

これらの数値はリポジトリの説明と README に載った独自ベンチマークの結果であり、独立に検証された性能ではない。README は GSM8K のスコアは圧縮前後とも 0.870 で変わらず、TruthfulQA のスコアは 0.530 から 0.560 へ動いたものの、100 件サンプルでは有意な差とは言えないとも述べている。したがって削減幅をそのまま一般的な性能として断定するより、実際に使う入力で確認する必要がある。