jwuthri-cloud/tracely-ai는 프로덕션에서 수집한 AI 에이전트 실행 흔적을 평가하고 이를 CI 회귀 시험으로 연결하는 Python 도구다. 저장된 실행 흔적에서 실패를 묶고, 실패 사례를 다시 재생할 수 있는 시험으로 고정한다. 이 시험에서 문제가 생기면 변경 사항의 PR을 막는 흐름을 제공한다. 최신 버전 번호나 릴리스 변경 사항이 주어진 자료에는 없어, 여기서는 저장소가 설명하는 기능을 소개한다.
README 설명에 따르면 Tracely는 OTLP로 받은 흔적에서 에이전트와 대화, 각 단계를 구조화한다. 평가 결과에 비용과 지연 정보를 함께 보여 주고, 저장된 도구 응답과 모델 응답을 재생해 실행 결과를 검토할 수 있다. 실패를 단순한 관측 기록으로 남기지 않고 반복 가능한 회귀 사례로 전환한다는 점이 이 도구의 중심이다. API, 작업자, 웹 화면과 저장소 서비스를 자체 환경에 배포하는 구성도 제시한다. MIT 라이선스이며 Python으로 작성됐다.
이 접근은 에이전트 실행의 품질을 변경 전후에 확인하는 데 초점을 둔다. 다만 FACTS에는 최신 릴리스가 기록되어 있지 않으며, 평가 점수의 산정 기준이나 비교 시험 결과도 제시되지 않았다. 따라서 회귀 시험과 PR 차단 흐름은 저장소가 설명하는 기능으로 볼 수 있지만, 실제 환경에서의 효과를 입증하는 근거까지 확인된 것은 아니다. 에이전트 품질을 회귀 시험으로 다루는 방식은 아직 초기 단계에 가깝다.