github.devotd.
新发现开发工具

jwuthri-cloud/tracely-ai — 基于智能体追踪的 CI 回归测试

jwuthri-cloud/tracely-ai 是一个 Python 工具,用于评估 AI 智能体的执行轨迹,并把失败案例转化为回归测试。

仓库信息jwuthri-cloud/tracely-ai ↗

Trace-native CI/CD for AI agents: grade production traces, cluster failures, freeze them into replayable regression tests, and block PRs that regress. Self-hostable.

星标
★ 1.1K
复刻
144
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

jwuthri-cloud/tracely-ai 是一个 Python 工具,用于评估在生产环境中采集的 AI 智能体执行轨迹,并将其接入 CI 回归测试。它从已保存的执行轨迹中归并失败,并把每个失败案例固化为可重放该失败的测试。当测试出现问题时,它提供一条可以拦截相应改动 PR 的流程。所提供的资料中没有最新版本号或发布变更信息,因此这里介绍的是仓库所描述的功能。

根据 README 说明,Tracely 会从通过 OTLP 接收的轨迹中梳理智能体、对话以及各个步骤。评估结果会同时展示成本与延迟信息,并且可以重放已保存的工具响应和模型响应来复盘执行结果。这款工具的核心在于把失败从单纯的观测记录转变为可重复的回归案例。它还给出了把 API、worker、网页界面和存储服务部署到自有环境的配置方式。项目采用 MIT 许可证,使用 Python 编写。

这一思路的重点是在改动前后确认智能体执行的质量。不过 FACTS 中没有记录最新发布,评估分数的判定标准或对比试验结果也未给出。因此回归测试与拦截 PR 的流程可以视为仓库所描述的功能,但其在真实环境中的效果尚未得到证据支持。用回归测试来处理智能体质量的方式,仍处于接近早期阶段的状态。