github.devotd.
새 소식평가

mll-lab-nu/embodied-first-exam — 고정 장면 기반 코드 에이전트 시험

여러 벤치마크의 로봇 과제를 코드 에이전트가 프로그램으로 해결하고 별도 샌드박스에서 검증하는 시험 체계를 소개한다.

저장소 정보mll-lab-nu/embodied-first-exam ↗

여러 벤치마크의 로봇 과제를 코드 에이전트가 프로그램으로 해결하고 별도 샌드박스에서 검증하는 시험 체계를 소개한다.

GitHub 설명: The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verified in a separate sandbox. Runs on Harbor.

스타
★ 91
포크
3
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

mll-lab-nu/embodied-first-exam은 여러 벤치마크에서 가져온 로봇 과제 장면을 코드 에이전트가 프로그램으로 해결하는 시험 체계다. 과제마다 프로그램 하나를 답으로 제출하고, 작성한 코드는 별도 샌드박스에서 실행되어 검증된다. 시험 구동 환경으로 Harbor를 사용한다. 저장소는 Python으로 작성됐고 라이선스는 MIT이며 GitHub 스타는 83개다. 정식 버전 릴리스는 등록돼 있지 않다.

README는 자체 시험(exam) 아홉 묶음과 여러 공개 벤치마크를 함께 소개하고, 저장소 소개는 물리 세계를 다룬 코드 에이전트 시험으로 처음이라는 점을 내건다. 시험 장면과 입력을 고정해 에이전트의 수행을 평가하는 구성이다. 실제 로봇 시뮬레이션과 결과 검증의 격리를 함께 다루는 점이 이 구성의 차별점이다. 이 저장소의 신선성 점수는 10점 만점에 9.0점, 품질 점수는 8.0점이다.

다만 시험을 구동하려면 Linux 환경과 컨테이너 구성이 필요하고, 과제별로 GPU와 대용량 저장 공간을 요구할 수 있다. README는 실행 흐름과 필요한 환경 조건을 함께 적어 놓았다. 저장소 생성일은 2026년 9월 18일이고 릴리스는 없으며, 모멘텀 점수는 10점 만점에 2.2점이다. 공개된 시험 결과와 성능 수치가 없어 실제 성능은 이 자료만으로 판단하기 어렵다. 지금은 시험 구성과 과제 묶음 자체를 살펴볼 참고 자료로 보는 편이 맞다.