wndaasa/newbie-harness는 OpenAI·Anthropic API와 Ollama, LM Studio, llama.cpp, vLLM 같은 로컬 LLM을 한 화면에서 다루는 Windows 데스크탑 AI 에이전트다. 파일 편집, 셸, git, MCP, HWP 문서 읽기를 지원한다. 2026년 10월 25일 커밋 aa0ad823d89eda451c77a3b70f2894e9cf834657은 두 가지를 한 번에 고쳤다. 앱을 다시 켠 뒤 대화를 열면 토큰 게이지가 비어 보이던 문제와, Anthropic 캐시가 기본 5분 수명이라 긴 대화가 매번 처음부터 다시 읽히던 문제다.
게이지 쪽은 app/main/controller.ts에 storedUsage()를 새로 넣어 세션 파일에 남은 마지막 실측 usage(cached, input, output)를 읽고, 실행 중인 턴이 없을 때 그 값으로 되살린다. 턴이 도는 동안의 값만 보던 기존 동작을 세션 파일 값으로 대체한 것이다. 캐시 쪽은 src/providers/anthropic.ts의 cacheMark()가 기본 캐시 표시에 1시간 수명(ttl 1h)을 붙이도록 바꿨다. Anthropic은 OpenAI와 달리 캐시를 자동으로 걸어 주지 않기 때문에 cache_control 표시는 코드가 직접 붙인다.
커밋 메시지는 5분 캐시가 답을 읽고 다음 메시지를 쓰는 사이에 사라져 49만 토큰 대화가 처음부터 다시 읽혔다고 적었고, 코드 주석은 첫 응답까지 50초 가까이 걸렸다고 설명한다. 같은 주석은 캐시 쓰기 단가가 입력가의 2배(5분은 1.25배)지만 읽기 단가는 같다고 밝힌다. 테스트 파일의 주석은 캐시에서 읽은 토큰을 분당 입력 한도(ITPM)에 세지 않는다는 Anthropic 규칙을 근거로, 이력 캐시가 비용만이 아니라 한도 걸림 자체를 줄인다고 적은다.
다만 이 커밋의 효과는 Anthropic 경로에만 해당한다. Ollama나 llama.cpp 같은 로컬 추론 경로에는 캐시 수명이라는 개념이 없으므로, 게이지 쪽 수정은 앱을 재시작한 뒤 대화를 여는 흐름만 다룬다. 테스트는 저장된 실측값이 게이지에 다시 뜨는 것과 캐시 표시의 ttl 값만 확인하고, 지연이나 비용이 실제로 줄었다는 측정은 담지 않는다. 변경 규모는 app/main/controller.ts와 src/providers/anthropic.ts, 테스트 2개를 합쳐 추가 76줄과 삭제 12줄이다. 1시간 캐시는 쓰기 단가를 두 배로 올리는 선택이므로, 짧은 대화가 잦은 환경에서는 NEWBIE_CACHE_TTL=5m으로 되돌리는 편이 합리적이다. 긴 대화를 반복하는 쪽에는 실질적인 개선이지만, 짧은 대화 위주 환경에 대한 개선이라고 단정할 근거는 아직 없다.