web-infra-dev/midscene 是一个 E2E(End-to-End)测试框架,它用 AI 视觉读取应用界面,代替人来操作并核对结果。AI 视觉指的是把界面当作图片来看待并据此判断的方式。PlaywrightAgent 解读截图,在网页上执行点击、输入和滚动,并以视觉方式验证屏幕上显示的结果是否正确。仓库说明同样主打以自然语言操作界面的 E2E 测试。最新版本是 v1.16.0,本次版本的变化内容在给定资料中没有说明。
README 将 Midscene.js 描述为一个测试框架,用 AI 视觉以自然语言对网页、移动端和桌面应用执行 E2E 测试,并验证可见的结果。它既可以通过 Midscene Test 的 YAML,也可以通过面向 Playwright 和 Puppeteer 的 Agent API 集成进已有的测试,并且同一套 API 可以原样用于多个平台和自定义界面。运行结果会在 HTML 报告中把截图、操作和断言结果放在一起展示,方便把失败点重新与界面对照查看。实现语言是 TypeScript,许可证是 MIT,GitHub 星标数为 15341 个。仓库创建于 2024 年 7 月 23 日。
不过,未经验证的部分同样很多。识别和操作界面时的准确率或失败率,以及与其他自动化测试工具的对比数据,给定资料中都没有。README 中描述的自然语言执行与验证能力属于文档说明,并非独立验证的结果。对于以界面核对为核心的测试场景,它是一个值得尝试的选择。想要把它当作可信依据,还需要自己做更多测试。