juliusbrussee/caveman 是一个 Go 工具,通过缩短编码代理的输入资料和回复来减少令牌使用。它提供技能和代理,最新版本为 v4.0.1。仓库说明称,它通过改变表达方式来减少 65% 的令牌。不过,现有信息并未列出 v4.0.1 中新增或修改的内容。
该工具把压缩代理回复以及压缩日志、JSON 和试题输出的功能整合在一起。它支持按请求选择模型和推理强度,并介绍了复用已编写脚本、压缩网页资料等功能。它可通过命令行安装并用于多个编码代理,README 说明处理过程在你的电脑上运行。Go 实现和 Apache-2.0 许可证也已公开。简而言之,这是一种减少代理与模型之间输入和回复的方法。
仓库说明中表示,它会把自测结果与外部研究和用例区分开来,也会单独标注尚未测量的功能。但仅凭现有信息,无法确认 65% 这一数字的测量条件,也无法确认 v4.0.1 的具体改动。因此,与其把该数字套用于所有功能和运行环境,不如在测量范围得到确认之前,把它限定为仓库提出的说法来理解。