jevagentharness/jevagentharness는 코딩 에이전트의 각 스텝을 소형 결정 모델이 ‘일반’과 ‘난제’로 분류해 모델을 배정하는 로컬 OpenAI 호환 프록시다. 일반 스텝은 빠른 모델로, 난제는 강한 모델로 보낸다. README에 따르면 파이썬 3.10 이상이 필요하고 알파 단계다.
README는 Terminal-Bench 2.0의 보유 태스크 74개를 하네스별로 한 번씩 실행한 결과를 공개한다. mini-swe-agent의 성공률은 66.2%에서 63.5%로 2.7포인트 낮아졌고, 95% 구간은 -14.9~+8.1이었다. 작업당 비용은 0.91달러에서 0.33달러로 64% 줄었으며, 시간은 13.7분에서 7.9분으로 43% 줄었다. pi와 DeepSeek Harness는 성공률 하락 없이 비용 28~31%, 시간 4~15%를 절감했다. 다만 강한 모델로 남은 스텝 비율은 45~55%였다.
절감 폭은 빠른 모델의 가격 차이에 따라 달랐다. 토큰당 2.7배 저렴한 Flash에서는 7~13% 절감에 그쳤고, 4~7배 저렴한 Flash-Lite에서는 28~64%였다. Terminus-2는 기준선 74개 중 53개가 타임아웃으로 끝나 저자가 결론을 내릴 수 없다고 밝혔다. 실행 전 등록한 프로토콜과 태스크별 원자료, arXiv 2610.21412, 모델과 데이터가 공개돼 있다. 다만 알파 프로젝트의 저자 실측이며, Terminus-2 결과로는 성능을 판단할 수 없다.