EvalDock(evaldock/evaldock)는 서로 다른 에이전트와, 같은 에이전트 안의 플러그인 구성을 하나의 작업 단위로 실행해 평가하는 종단간(end-to-end) 평가 프레임워크다. TypeScript로 작성됐고 2026년 9월 30일에 만들어진 저장소다. 공개 릴리스는 아직 없다.
이 도구가 겨냥하는 문제는 에이전트 평가가 프레임워크별로 갈라지는 것이다. EvalDock는 서로 다른 에이전트와 플러그인을 한 벌로 평가한다. 에이전트마다 다른 실행 방식을 실행 어댑터로 감싸고, 데이터셋과 추적 형식, 평가 판정은 공유한다. 종단간이라는 말은 과제를 넘긴 뒤 도구 호출과 산출물이 나오는 과정과, 그 결과에 대한 점수까지 한 흐름으로 다룬다는 뜻이다. 같은 과제를 돌리면 도구 호출과 산출물, 점수와 근거가 함께 남기 때문에 에이전트끼리는 물론 에이전트 안의 플러그인 구성끼리도 나란히 비교할 수 있다. 실행 방식이 달라도 공유 계층을 거치는 구조가 비교 가능성을 높인다. 작업대에서 에이전트와 플러그인, 과제를 골라 실행을 관리한다. 저장소의 GitHub 별 수는 47이다.
한계는 README에 그대로 적혀 있다. 소규모 표본 추정과 실행 추적 그래프는 다음 버전 구상으로 구분돼 있고, 공개 버전에는 아직 활성화되지 않았다. 라이선스도 명시되어 있지 않다. 리서치 기록의 점수는 신선도 7.0, 기술 5.0, 완성도 6.0, 모멘텀 2.1로, 모멘텀만 낮다. 공유 어댑터와 추적·평가 계층이 비교 가능성을 높이는 설계는 분명하지만, 공개판에 없는 기능이 구현 범위를 좁힌다. 다음 릴리스에서 표본 추정과 추적 그래프가 실제로 동작하는지 확인해야 한다.