confident-ai/deepeval은 대규모 언어 모델(LLM) 애플리케이션의 품질을 테스트하는 오픈소스 프레임워크이며, 가장 최근 릴리스는 python-v4.2.4다. 저장소는 스스로를 LLM 평가 프레임워크라고 소개하고, Python으로 작성돼 Apache-2.0 라이선스로 배포된다. GitHub 별 수는 18993개이며 저장소는 2023년 8월 10일 만들어졌다.
README는 이 프로젝트가 Pytest처럼 LLM 앱의 단위 테스트, 즉 각 기능이 기대대로 작동하는지 하나씩 확인하는 방식에 특화된 도구라고 설명한다. G-Eval, 작업 완료, 답변 관련성, 환각(hallucination) 같은 지표를 제공해 앱 전체를 평가하고, 검색으로 외부 지식을 찾아 답에 결합하는 검색 증강 생성(RAG), AI 에이전트의 행동 순서인 궤적(trajectory)과 그 안의 개별 단계, 대화 품질을 따로 나눠 본다. LangChain과 OpenAI를 비롯한 여러 프레임워크와 연동되며, Confident AI에서는 운영 환경의 트레이스를 대상으로 평가를 실행할 수 있다고 밝힌다.
다만 python-v4.2.4가 무엇을 바꿨는지는 제공된 기록에 없어서 확인할 수 없다. 기록에 남은 모멘텀 점수는 10점 만점에 5.9점이고 참신성·기술·품질 점수는 주어지지 않았다. 지표 목록과 연동 범위는 README 설명을 옮긴 것이므로 실제 평가 정확도를 입증한 결과는 아니다. 릴리스 변경 내용과 지표의 실측 성능이 모두 확인되지 않은 상태로 남는다.