mupt-ai/self-bench는 저장소의 병합된 풀 리퀘스트에서 만든 비공개 Harbor 형식 평가로 코딩 에이전트와 모델을 벤치마크하는 프로젝트다. 프로덕션 릴리스 prod-20261015-44ef8ca에서는 이미지 빌더가 설정되지 않은 환경에서 새 작업 생성이 실패하던 문제를 고쳤다. 릴리스 설명에 따르면, 해당 환경에서도 소스 빌드를 다시 검증하도록 바꿨다. 이 변경은 이미지 빌더가 없으면 작업을 만들 수 없던 경로를 복구한 것이다.
이 프로젝트의 평가는 사용자의 저장소에서 병합된 변경을 바탕으로 만들어지며, 공개 평가 세트가 아니라 비공개 평가 세트다. 따라서 일반적인 코딩 능력을 재는 범용 시험이라기보다, 특정 저장소의 변경 이력에 연결된 에이전트와 모델 평가에 초점이 있다. 이번 수정도 평가 방식이나 점수 산출을 바꿨다는 내용이 아니라, 작업 생성에 필요한 소스 빌드 검증 경로를 다시 작동하게 한 것이다. 릴리스 설명에는 설정된 Modal 이미지 빌더가 필요하다는 메시지와 함께 새 작업이 실패하는 상황이 적혀 있다.
확인되는 범위는 이미지 빌더가 설정되지 않은 환경에서의 작업 생성 복구까지다. 릴리스 요약은 다른 빌드 환경이나 평가 결과가 달라졌는지 설명하지 않으므로, 이 수정만으로 벤치마크 성능이나 평가의 범위까지 달라졌다고 볼 수는 없다. 저장소 설명은 평가가 병합된 풀 리퀘스트로부터 생성된다고 밝히지만, 이번 릴리스가 다루는 변경은 평가 콘텐츠가 아니라 이를 실행하기 위한 빌드 경로다. 따라서 이번 릴리스는 새로운 평가 기능의 추가보다 이미지 빌더 부재로 막히던 작업 생성의 복구로 보는 편이 정확하다.