yuyaoge/doc2harness는 Doc2Harness 논문의 공식 코드 저장소로, 모델이 코딩 에이전트의 하네스(harness) 자체를 구축할 수 있는지 평가한다. 하네스는 에이전트를 감싸는 실행 설정으로, 이 저장소에서는 모델이 직접 만들어야 할 대상으로 삼는다. 저장소는 94개 시나리오를 공개하는 부분 오픈소스 릴리스이며, 실행에는 Python 3.11+와 Docker가 필요하다.
이 저장소의 핵심은 평가 축 자체가 새롭다는 점이다. 모델이 패치 한 덩어리를 얼마나 잘 쓰는지가 아니라 코딩 에이전트의 하네스를 얼마나 잘 만드는지를 잰다. 1단계는 OpenCode를 격리된 컨테이너에서 실행해 개발 문서와 인터페이스만 있는 골격 위에 하네스를 구현하게 한다. 2단계는 완성된 하네스를 동결한 뒤 스크립트형 모의 모델이 별도 컨테이너에서 end-to-end로 구동되는지 본다. 관측 채널은 모델 요청, 디스크 파일, 종료 코드, 명령 출력 넷으로 명시돼 있고, 시나리오마다 빈 통과를 걸러내는 대조 시나리오가 붙는다.
다만 경계는 분명하다. 라이선스는 NOASSERTION으로 표기돼 정식 라이선스가 확인되지 않는다. 리더보드에 오른 19개 모델의 수치는 공개된 부분만으로는 재현할 수 없고, README는 남은 케이스가 비공개라고 스스로 밝힌다. 하네스를 구축하는 능력을 보는 축으로 지금은 참고할 만하지만, 리더보드 수치를 근거로 모델 순위를 논하기에는 판단이 이르다.