github.devotd.
新发现大语言模型基础设施

headroomlabs-ai/headroom v0.41.0 — LLM 输入压缩工具

headroomlabs-ai/headroom 是一款压缩 agent 发送给模型的工具输出等数据的工具,最新版本及其自测基准结果已经公开。

仓库信息headroomlabs-ai/headroom ↗

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

星标
★ 75.6K
复刻
5.9K
语言
Python
许可证
Apache-2.0
最新版本
v0.41.0
查看原始来源 ↗在 GitHub 查看 ↗

headroomlabs-ai/headroom 是一个基于 Python 的工具,在把工具输出、日志、文件、RAG 分块发送给 LLM 之前先进行压缩,以减少输入 token。最新版本是仓库中标注的 v0.41.0。FACTS 中没有这个版本的具体变更记录,因此无法确认具体改了什么。它提供库、代理和 MCP 服务器三种形式,以 Apache-2.0 许可证发布。

压缩方式按格式划分:JSON 由 SmartCrusher 处理,代码由基于 AST 的 CodeCompressor 处理,散文由 Kompress-v2-base 处理。CacheAligner 会标记可能破坏供应商键缓存的可变因素,CCR 则在本地保留原文,需要时可以取回。README 的自测基准显示,代码检索从 17199 token 降到 13597 token,SRE 故障分析从 55957 token 降到 24340 token。代码库探索从 58801 降到 33895 token,问题分类从 46067 降到 32429 token。仓库说明声称在编码 agent 场景可节省 20% token,在 JSON 类负载上可节省 60~95%。

这些数字来自仓库说明和 README 上的自测基准结果,并非经过独立验证的性能。README 同时说明 GSM8K 得分在压缩前后都是 0.870,TruthfulQA 得分从 0.530 变为 0.560,但样本仅 100 条,不能算作有意义的差异。因此与其把节省幅度当作普遍性能,不如在实际使用的输入上自行验证。