openai/evals는 대형 언어 모델(LLM)과 LLM으로 만든 시스템을 평가하는 프레임워크이자 공개 평가 레지스트리다. 평가(eval)는 정해진 항목으로 모델을 시험하는 것을 뜻한다. 파이썬으로 작성됐고 2023년 1월 23일 생성된 저장소로, GitHub 스타는 19621개다. 이 글의 출처는 GitHub의 openai/evals 저장소다.
이 저장소에는 두 축이 있다. 공개 평가 레지스트리 쪽은 OpenAI 모델의 여러 측면을 시험하는 평가를 모아둔 것이고, 다른 쪽은 사용자가 직접 만든 평가를 실행하는 프레임워크다. 레지스트리는 오픈소스로 공개된 벤치마크 목록이고, 그 위에서 사내 데이터에 맞춘 커스텀 평가를 구현해 실행할 수 있다. README는 데이터를 공개하지 않고 업무 흐름에 맞춘 비공개 평가(private eval)도 만들 수 있다고 밝힌다. 평가는 OpenAI Dashboard에서 구성하고 실행할 수 있다고 안내한다.
확인할 경계도 남아 있다. 공개된 릴리스가 없어 최신 버전 번호를 특정할 수 없고, 라이선스는 NOASSERTION으로 표시돼 있어 재사용 조건은 따로 살펴봐야 한다. 관측된 모멘텀 지표도 10점 기준 2.1로 낮다. 실제로 돌리려면 OpenAI API 키와 파이썬 3.9 이상이 필요해, 공개 평가의 범위와 비공개 평가 구현 방식을 먼저 확인한 뒤 도입 여부를 정하는 편이 맞다.