web-infra-dev/midscene は、アプリの画面を AI ビジョンで読み取り、人が代わりに操作して結果を確認する E2E（End-to-End）テストフレームワークである。AI ビジョンとは、画面を画像として見て判断する方式である。PlaywrightAgent はスクリーンショットを解釈してウェブページのクリック・入力・スクロールを実行し、画面に表示された結果が正しいかどうかを視覚的に検証する。リポジトリの説明も自然言語でインターフェースを扱う E2E テストを掲げている。最新リリースは v1.16.0 であり、このバージョンでの変更点は提示された資料には記載がない。
README は、Midscene.js を AI ビジョンにより Web・モバイル・デスクトップアプリの E2E テストを自然言語で実行し、画面に見える結果を検証するテストフレームワークと説明している。既存のテストには Midscene Test の YAML や Playwright・Puppeteer 用の Agent API で統合でき、1つの API を複数のプラットフォームやカスタムインターフェースにそのまま使える。実行結果は HTML レポートでスクリーンショット・操作・アサーション結果をあわせて確認できるため、失敗箇所を画面と突き合わせて見直せる。実装言語は TypeScript、ライセンスは MIT で、GitHub スターは 15341 個である。リポジトリは 2024 年 7 月 23 日に作成された。
ただし未確認の箇所も大きい。画面を認識して操作するときの精度や失敗率、他の自動化テストツールとの比較数値は、提示された資料には記載がない。README に書かれた自然言語での実行・検証能力はドキュメント上の説明であり、独立に検証された結果ではない。画面確認を中心とするシナリオなら試す価値のある選択肢である。信頼性の根拠とするには、独自にもう一段のテストが必要となる。