ukgovernmentbeis/inspect_ai는 대규모 언어 모델 평가를 위한 프레임워크다. 기록된 최신 릴리스 버전은 0.3.282다. 다만 제공된 자료에는 이 버전의 릴리스 노트 항목이 없어 무엇이 바뀌었는지는 확인할 수 없다. 저장소는 2023년 11월 14일 만들어졌고 주 언어는 Python, 라이선스는 MIT이며 GitHub 스타는 3050개다.
README는 Inspect이 UK AI Security Institute가 만든 대규모 언어 모델 평가 프레임워크라고 밝힌다. 평가 프레임워크란 평가할 질문과 채점 기준을 코드로 정의해 두는 틀이다. 이 프로젝트는 프롬프트 엔지니어링, 도구 사용, 여러 차례 대화, 모델 채점(model grading)을 위한 구성요소를 제공한다. 모델 채점은 정해진 기준으로 모델의 응답을 평가해 점수로 정리하는 기능이다. 다른 Python 패키지로 확장할 수 있고, 어떤 모델에서든 실행할 수 있는 미리 구성된 평가 모음도 담고 있다.
다만 근거는 저장소 설명과 README가 스스로 밝힌 내용에 한정돼 있다. 저장소 설명은 대규모 언어 모델 평가를 위한 프레임워크라는 한 줄뿐이고, 평가 정확도나 실행 성능을 비교한 벤치마크는 제시되지 않는다. 정리된 평가 점수에서도 참신성·기술·품질 항목에는 값이 없고 모멘텀 항목만 3.6으로 기록돼 있다. 지금 기대할 것은 특정 성능 우위보다 평가 코드를 직접 짜서 돌려 볼 수 있는 지점에 가깝다.