github.devotd.
새 소식LLM 인프라

headroomlabs-ai/headroom v0.41.0 — LLM 입력 압축 도구

headroomlabs-ai/headroom은 에이전트가 모델에 보내는 도구 출력 등을 압축하는 도구이며, 최신 릴리스와 자체 벤치마크가 공개돼 있다.

저장소 정보headroomlabs-ai/headroom ↗

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

스타
★ 75.6K
포크
5.9K
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.41.0
원문 보기 ↗GitHub에서 보기 ↗

headroomlabs-ai/headroom은 도구 출력, 로그, 파일, RAG 청크를 LLM에 보내기 전에 압축해 입력 토큰을 줄이는 Python 기반 도구다. 최신 릴리스는 저장소에 기재된 v0.41.0이다. FACTS에는 이 버전의 구체적인 변경 내역이 없어 무엇이 바뀌었는지는 확인할 수 없다. 라이브러리, 프록시, MCP 서버 형태를 제공하며 Apache-2.0 라이선스로 공개돼 있다.

형식에 따라 압축 방식을 나눈다. JSON은 SmartCrusher, 코드는 AST 기반 CodeCompressor, 산문은 Kompress-v2-base가 처리한다. CacheAligner는 공급자 키 캐시를 깨뜨릴 수 있는 변동 요소를 표시하고, CCR은 원본을 로컬에 보관해 필요할 때 되찾도록 한다. README의 자체 벤치마크에서는 코드 검색이 17199토큰에서 13597토큰으로, SRE 장애 분석이 55957토큰에서 24340토큰으로 줄었다고 보고한다. 코드베이스 탐색은 58801에서 33895토큰으로, 이슈 분류는 46067에서 32429토큰으로 감소했다. 저장소 설명은 코딩 에이전트에서 20%, JSON 계열에서 60~95%의 토큰 절감을 주장한다.

이 수치는 저장소 설명과 README에 실린 자체 벤치마크 결과이지, 독립적으로 검증된 성능은 아니다. README도 GSM8K 점수는 압축 전후 0.870으로 같고, TruthfulQA 점수는 0.530에서 0.560으로 변했지만 표본 100건으로는 유의미한 차이라고 볼 수 없다고 밝힌다. 따라서 절감 폭을 일반적인 성능으로 단정하기보다, 실제로 사용할 입력에서 확인할 필요가 있다.