cmu-l3/reuf2f의 ReuF2F는 학부 연구 프로그램의 논문과 보고서에 담긴 추측 및 명시적으로 열린 문제를 Lean으로 형식화해 코딩 에이전트를 평가하는 벤치마크다. 저장소에는 이런 문제가 244개 들어 있다. 별도 버전이나 릴리스 정보는 주어지지 않았다.
모델은 열린 문제가 담긴 Lean 파일을 바탕으로 정리를 증명하거나 그 완전 부정을 증명하는 patch를 만든다. 형식화된 증명으로 답을 판정하는 방식이라, 자연어 정답과의 유사도 대신 문제의 증명 여부를 평가한다. 실행 하네스는 Docker와 고정된 elan 툴체인, Python 3.11 이상을 사용한다. 결과는 run_id, 모델명, instance_id별로 캐시되며, 같은 run_id로 다시 실행하면 저장된 리포트를 재사용한다.
평가 과정에서 신뢰할 수 없는 Lean 코드를 실행하므로 자격증명이 없는 임시 호스트를 사용하라는 경고가 있다. 공유 이미지에는 약 15GB, 실행 환경에는 최소 60GB의 여유 공간이 필요하며, 이미지는 linux/amd64용이라 M 시리즈 Mac에서는 에뮬레이션으로 실행된다. 라이선스는 NOASSERTION으로 표시되어 있고, 저장소 자체의 성능 비교 결과도 제시되지 않아 에이전트 간 성능 차이는 이 자료만으로 판단하기 어렵다.