rails/lemans는 에이전트 벤치마크를 실행해 결과를 모으는 Ruby 하네스다. 같은 저장소에는 Miniswen이라는 별도 모듈도 들어 있고, 2026-11-03 커밋 'Bump 1.6.0'은 두 모듈의 버전 파일을 함께 올려 1.5.2에서 1.6.0으로 맞췄다. 변경은 파일 3곳, 추가 4줄과 삭제 2줄뿐이며 CHANGELOG에는 2026-11-03 날짜의 1.6.0 항목이 새로 생겼다.
1.6.0에 담긴 변경은 모두 Miniswen 쪽이다. ruby_llm을 2.1.1로 올려 내장 캐싱, 종료 사유(finish reasons), 추론 재생(reasoning replay)을 쓰고, 유지하던 약 10분 재시도 창과 RUBYLLM_DEBUG 플래그, JSON 3 허용은 그대로 남겼다. 이어서 OpenRouter의 모든 모델에 prompt_cache_key를 보내 세션이 특정 제공자 순서에 묶이지 않아도 캐시가 유지되게 했고, 프롬프트 캐싱을 모든 모델에 켜서 Claude처럼 캐시가 필요한 모델(Anthropic API 포함)은 캐싱하고 원래 자동으로 캐시하는 모델은 영향이 없도록 했다.
다만 이 커밋이 남긴 것은 CHANGELOG 항목과 버전 상수뿐이다. 커밋 335272ae006d02f0f6a5b4b51e707f99b79d10a8 기준으로 성능 수치나 벤치마크 결과, 라이선스 정보는 주어지지 않아 캐싱이 실제로 얼마나 줄어드는지는 짐작할 수 없고 점수 변화도 이 자료로는 확인되지 않는다. 캐시 유지와 관찰 가능성(디버그 플래그, 종료 사유, 추론 재생)이 필요해 에이전트 하네스를 고르는 팀이라면 1.6.0을 직접 확인할 만하지만, 성능 개선을 근거로 도입을 결정할 단계는 아니다.