simreal-ai/simreal-mlbench의 2026년 9월 24일 커밋 bfd685e는 이 저장소를 공개 프리뷰로 표시하는 문서 변경이다. README 상단에 상태 배지를 넣고, 이 저장소가 ML Benchmark의 공개·최소 구성분이며 평가 런타임과 공식 채점 경로, 전체 스위트 심사는 SimReal 엔진에서 실행되어 이 저장소에는 없다는 안내를 추가했다. 문서 끝에는 이 저장소가 SimReal 제품군의 공개 프리뷰 중 하나라는 절이 붙고 전체 프리뷰 목록은 github.com/Simreal-AI로 연결된다. 변경된 README.md의 SHA256 해시만 SHA256SUMS에서 갱신했으며, 추가 11줄과 삭제 1줄로 코드와 채점 방식은 그대로다.
이 저장소는 머신러신 연구 에이전트를 위한 외부 채점 평가 환경이다. README는 60개 태스크가 표형 학습, 예측, 시각, 언어, 음성, 멀티모달 학습, 구조화 과학 데이터를 아우른다고 밝힌다. 에이전트는 데이터셋을 이해하고 모델링 방식을 개발해 실험을 돌린 뒤 예측을 제출하며, 평가 대상은 데이터 이해, 특성 엔지니어링, 검증 설계, 모델 선택, 하이퍼파라미터 튜닝, 앙상블링, 디버깅, 자원 배분, 안정적인 전달까지 연구 절차 전체로 정의된다. 공개된 조각에는 60개 태스크 카탈로그, 평가 프로토콜, 채점 코드, 클라이언트 SDK가 들어 있고, README는 이 저장소가 openai/mle-bench에서 영감을 받았지만 태스크 선택과 리소스 프로토콜, 채점 방식은 다르다고 적는다. 사용 방법은 별도 문서인 에이전트 가이드, 환경 설정, 게이트웨이, 릴리스 구조 설명으로 분리해 안내한다.
문제는 공식 점수를 직접 재현할 수 없다는 점이다. 평가 런타임과 공식 채점 경로, 전체 스위트 심사가 SimReal 엔진에 있고 이 저장소에는 실행 경로가 없기 때문이다. README는 스스로를 초기 단계이며 변경될 것이라고 밝히고, 연구실과 파트너를 위한 전체 접근은 business@simreal.co로 연락하라고 안내한다. 라이선스 종류는 이번 커밋 기록에 제시되지 않는다. 이 커밋은 서류 변경에 그쳤으므로 점수나 태스크 구성 변화는 판단하기 이르고, 에이전트를 붙여 볼 계획이라면 채점 경로가 닫혀 있다는 점을 먼저 고려할 만하다.