github.devotd.
新发现AI 智能体

web-infra-dev/midscene v1.16.0 — 用 AI 视觉做自然语言 E2E 测试

web-infra-dev/midscene 是一个 E2E 测试框架,它用 AI 视觉解读截图,以自然语言操控网页、移动端和桌面应用,并验证屏幕上可见的结果。

仓库信息web-infra-dev/midscene ↗

web-infra-dev/midscene 是一个 E2E 测试框架,它用 AI 视觉解读截图,以自然语言操控网页、移动端和桌面应用,并验证屏幕上可见的结果。

GitHub 项目说明: See interfaces like a human. E2E testing in natural language.

星标
★ 15.3K
复刻
1.2K
语言
TypeScript
许可证
MIT
最新版本
v1.16.1
查看原始来源 ↗在 GitHub 查看 ↗

web-infra-dev/midscene 是一个 E2E(End-to-End)测试框架,它用 AI 视觉读取应用界面,代替人来操作并核对结果。AI 视觉指的是把界面当作图片来看待并据此判断的方式。PlaywrightAgent 解读截图,在网页上执行点击、输入和滚动,并以视觉方式验证屏幕上显示的结果是否正确。仓库说明同样主打以自然语言操作界面的 E2E 测试。最新版本是 v1.16.0,本次版本的变化内容在给定资料中没有说明。

README 将 Midscene.js 描述为一个测试框架,用 AI 视觉以自然语言对网页、移动端和桌面应用执行 E2E 测试,并验证可见的结果。它既可以通过 Midscene Test 的 YAML,也可以通过面向 Playwright 和 Puppeteer 的 Agent API 集成进已有的测试,并且同一套 API 可以原样用于多个平台和自定义界面。运行结果会在 HTML 报告中把截图、操作和断言结果放在一起展示,方便把失败点重新与界面对照查看。实现语言是 TypeScript,许可证是 MIT,GitHub 星标数为 15341 个。仓库创建于 2024 年 7 月 23 日。

不过,未经验证的部分同样很多。识别和操作界面时的准确率或失败率,以及与其他自动化测试工具的对比数据,给定资料中都没有。README 中描述的自然语言执行与验证能力属于文档说明,并非独立验证的结果。对于以界面核对为核心的测试场景,它是一个值得尝试的选择。想要把它当作可信依据,还需要自己做更多测试。