jwuthri-cloud/tracely-ai は、本番環境で収集した AI エージェントの実行トレースを評価し、CI の回帰テストにつなげる Python ツールである。保存された実行トレースから失敗をまとめ、失敗ケースを再生できるテストとして固定する。そのテストで問題が起きれば、該当変更の PR を止められるようにするフローを提供する。提示された資料には最新のバージョン番号もリリースの変更内容もないため、ここではリポジトリが説明している機能を取り上げる。
README の説明によると、Tracely は OTLP で受け取ったトレースから、エージェント・会話・各ステップを構造化する。評価結果にはコストと遅延の情報を併記し、保存済みのツール応答とモデル応答を再生して実行結果を検証できる。失敗をそのままの観測記録にとどめず、繰り返せる回帰ケースへ変換することがこのツールの中心である。API、ワーカー、ウェブ画面、ストレージサービスを自分の環境にデプロイする構成も提示している。ライセンスは MIT、言語は Python である。
このアプローチは、変更の前後でエージェント実行の品質を確かめることに重点を置く。ただし FACTS には最新のリリースが記録されておらず、評価スコアの算出基準や比較試験の結果も示されていない。したがって回帰テストと PR 止めの流れはリポジトリが説明している機能とみなせるが、実際の環境で効果を示す根拠まで確認されたわけではない。エージェントの品質を回帰テストとして扱う手法は、いまだ初期段階に近い。