servicenow/browsergym は、Web ブラウザ上で行う作業を自動化する Gym 環境です。Gym とは、エージェントが環境の観測を受け取って行動を送るためのインタラクション仕様です。リポジトリは Python で書かれており、公開されている最新リリースは v0.14.3 です。今回の記録には v0.14.3 の変更一覧が記載されていないため、この記事はバージョンと公開されている範囲を扱うことにします。
README は、このリポジトリを Web エージェント（web agent）研究を促進するためのオープンソースフレームワークと説明しています。MiniWoB、WebArena、VisualWebArena、WorkArena などの複数のベンチマークを土台として提供し、それらの扱う実際のタスクを共通の Gym API にまとめて実行し評価することが核心です。消費者向け製品ではなく、研究と評価のためのツールであり、2024 年 2 月に作成されたリポジトリの公開スター数は 1408 件です。
限界は 2 点あります。第一に、ライセンスは NOASSERTION としか記録されていないため、利用条件と配布条件はリポジトリの原文を直接確認する必要があります。第二に、このリポジトリは新しいベンチマークを作る場所ではなく、すでに公開されているベンチマークを一つの環境 틀に集めて実行する側です。実際のエージェントの成績や性能比較の数値は、このリポジトリの記録には含まれていません。複数のベンチマークを同じ仕様のもとで動かす作業には使えますが、性能の優劣を判断するには、この記録だけではまだ早いところです。