Devotd Github
新发现韩国科技

wndaasa/newbie-harness — 恢复对话计量条并将 Anthropic 缓存延长至 1 小时

newbie-harness 上传了一个提交,同时应用了应用重启后的对话计量条恢复与 Anthropic 提示缓存 1 小时化。

仓库信息wndaasa/newbie-harness ↗

newbie-harness 上传了一个提交,同时应用了应用重启后的对话计量条恢复与 Anthropic 提示缓存 1 小时化。

GitHub 项目说明: OpenAI, Anthropic과 Ollama, LM Studio, llama.cpp, vLLM 같은 로컬 LLM을 한 화면에서 쓰는 Windows용 데스크탑 AI 에이전트. 파일 편집, 셸, git, MCP, HWP 문서 읽기 지원

星标
★ 1
复刻
0
语言
TypeScript
许可证
MIT
最新版本
v1.0.0
查看原始来源 ↗在 GitHub 查看 ↗

wndaasa/newbie-harness 是一个 Windows 桌面 AI 代理,可在同一界面中处理 OpenAI、Anthropic API 以及 Ollama、LM Studio、llama.cpp、vLLM 等本地 LLM。它支持文件编辑、shell、git、MCP 以及读取 HWP 文档。2026 年 10 月 25 日的提交 aa0ad823d89eda451c77a3b70f2894e9cf834657 一次性修复了两个问题:重新开启应用后打开对话时令牌计量条显示为空的问题,以及 Anthropic 缓存默认有效期为 5 分钟、导致长对话每次都要从头重新读取的问题。

计量条方面,在 app/main/controller.ts 中新加入了 storedUsage(),读取会话文件中留下的最后一次实测 usage(cached、input、output),并在没有正在运行的轮次时用该值恢复。原本只显示轮次运行期间数值的行为,被会话文件中的数值取代。缓存方面,src/providers/anthropic.ts 中的 cacheMark() 改为让默认缓存标记带上 1 小时有效期(ttl 1h)。由于 Anthropic 与 OpenAI 不同,不会自动启用缓存,因此 cache_control 标记由代码自行添加。

提交信息中写道,5 分钟缓存在读取回答与写入下一条消息之间消失,导致 49 万 token 的对话被从头重新读取;代码注释则说明直到首个响应耗时接近 50 秒。同一注释指出,缓存写入单价是输入单价的 2 倍(5 分钟缓存为 1.25 倍),但读取单价保持不变。测试文件中的注释以 Anthropic 的规则为依据——从缓存中读取的 token 不计入每分钟输入上限(ITPM)——并指出历史记录缓存减少的不只是成本,还有触顶本身。

不过,该提交的效果只适用于 Anthropic 路径。像 Ollama、llama.cpp 这样的本地推理路径没有缓存有效期这一概念,因此计量条方面的修改只涉及应用重启后打开对话的流程。测试仅确认保存的实测值重新出现在计量条上以及缓存标记的 ttl 值,并未包含延迟或成本是否确实下降的测量。改动规模为 app/main/controller.ts、src/providers/anthropic.ts 和 2 个测试文件合计新增 76 行、删除 12 行。1 小时缓存是把写入单价翻倍的选择,因此在短对话频繁的环境中,回到 NEWBIE_CACHE_TTL=5m 更为合理。对于反复进行长对话的一方,这是实质性的改进;但要说它对以短对话为主的环境也是改进,目前尚无依据。