confident-ai/deepeval は大規模言語モデル（LLM）アプリケーションの品質をテストするオープンソースフレームワークで、直近のリリースは python-v4.2.4 です。リポジトリは自らを LLM 評価フレームワークと紹介しており、Python で記述され、Apache-2.0 ライセンスで配布されています。GitHub スター数は 18993 で、リポジトリは 2023 年 8 月 10 日に作成されました。
README は、このプロジェクトが Pytest と同様に LLM アプリの単体テスト、すなわち各機能が期待どおりに動くかを一つずつ確認する方法に特化したツールだと説明しています。G-Eval、タスク完了、回答関連性、幻覚（hallucination）などの指標を提供してアプリ全体を評価し、検索で外部知識を見つけて答えに組み合わせる検索拡張生成（RAG）、AI エージェントの行動順序である軌跡（trajectory）とその中の個別ステップ、会話の品質を個別に分けて見ます。LangChain や OpenAI を含む複数のフレームワークと連携し、Confident AI では本番環境のトレースを対象として評価を実行できるとしています。
ただし、python-v4.2.4 が何を変えたのかについては提供された記録にないため、確認できません。記録に残っているモメンタムスコアは 10 点満点中 5.9 点で、新しさ・技術・品質のスコアは示されていません。指標一覧と連携範囲は README の説明を移したものであり、実際の評価精度を証明した結果ではありません。リリースの変更内容と指標の実測性能は、どちらも未確認のままです。