SWE-bench는 GitHub에서 수집한 실제 소프트웨어 이슈를 언어 모델에 풀어보게 하는 벤치마크다. 저장소 swe-bench/swe-bench는 코드베이스와 이슈가 주어지면 모델이 문제를 해결하는 패치를 생성하고, Docker를 이용한 재현 가능한 평가 방법과 데이터셋 사용법을 함께 제공한다. README는 이 벤치마크의 질문을 언어 모델이 실제 GitHub 이슈를 해결할 수 있는지로 둔다. 자료에는 릴리스 버전이 제시되지 않는다.
이 벤치마크의 특징은 실제 저장소에서 수집한 이슈를 그대로 평가 대상으로 삼는다는 점이다. 코드베이스를 유지한 채 패치가 문제를 해결하는지 재현 가능한 테스트로 확인하므로, 모델이 저장소 구조를 읽고 수정을 이어가는 능력을 재는 쪽에 가깝다. 평가가 Docker 환경에서 재현된다는 것은 결과를 다른 곳에서 다시 확인할 수 있다는 뜻이다. 구현 언어는 Python이고 라이선스는 MIT다. 저장소는 2023년 10월 4일에 만들어졌고, 별 수는 6061개다.
다만 이 자료에는 특정 모델의 측정 성적이 없다. 채점 항목으로 확인되는 것은 모멘텀 점수 3.9 하나뿐이고, novelty(신규성)·tech(기술)·quality(품질) 점수는 주어지지 않았다. 별 수와 모멘텀 점수는 특정 시점에 기록된 값이라 성능을 대신하지 않는다. 평가 도구와 데이터셋은 갖춰져 있지만 어느 모델이 어느 수준에 이르는지 비교한 결과가 없으므로, 지금은 직접 적용해 볼 도구에 가깝다.