Inspect AI(ukgovernmentbeis/inspect_ai)는 대규모 언어 모델 평가를 위한 프레임워크다. GitHub의 0.3.282 태그에 게시된 릴리스 노트에 따르면 이 버전은 2026년 10월 19일(UTC)에 배포되었고, 같은 샘플에서 병렬 실행되는 에이전트마다 도구(tool) 상태를 분리하는 변경을 담고 있다.
평가는 모델에 과제를 주고 그 결과를 기준과 비교해 품질을 재는 절차다. 평가 프레임워크는 그 과제와 채점 기준을 코드로 정의해 두고 모델을 반복 실행해 결과를 비교하는 도구다. Inspect AI는 GitHub에 공개된 저장소로, 표시되는 별 개수는 3057이다. 이번 변경이 겨냥한 곳은 여러 에이전트를 같은 샘플에 병렬로 붙이는 평가 방식이다. 에이전트별로 도구 상태를 나누면 한 에이전트의 도구 사용 기록이 다른 에이전트와 섞이지 않는다. 같은 릴리스에는 샤딩 실행(sharded execution, 작업을 여러 조각으로 나눠 처리하는 실행)의 조건부 저장과 잠금 보조 기능, 취소된 평가와 도구 호출·사용량(usage) 집계 관련 수정도 들어 있다.
다만 이 릴리스 설명에는 성능 수치나 채점 결과 비교가 없다. 도구 상태 분리가 기존 평가 결과를 바꾸는지, 샤딩 실행의 조건부 저장과 잠금 보조 기능이 어떤 조건에서 동작하는지는 설명되어 있지 않다. 병렬 다중 에이전트 평가에는 직접 걸리는 변경이지만, 단일 에이전트 평가 결과에 미치는 영향은 이 릴리스 설명만으로 알 수 없다.