xlang-ai/osworld は、実際のコンピュータ環境でオープン-ended なタスクを実行するマルチモーダルエージェントを評価するベンチマークである。NeurIPS 2024 で紹介された取り組みであり、リポジトリは 2023 年 10 月 16 日に初めて作成された。最新リリースは v0.1.16 で、このリリースに含まれる変更内容は公開記録には残っていない。
評価の方式がこのプロジェクトの中核である。マルチモーダルエージェントは多様な形態の情報をまとめて読み取りながらコンピュータを操作するプログラムであり、OSWorld は仮想マシン内の複数のアプリでそのエージェントに要求されたタスクを実行させ、タスク終了後に最終状態を検査して評価に変換する。README はデスクトップ実行のために VMware と VirtualBox を使う方法と、Docker ベースの仮想マシンで実行する方法を説明しており、AWS や Azure のようなプラットフォームサポートにも触れている。実装言語は Python、ライセンスは Apache-2.0 である。
ただし、公開記録だけでは判断がつかない。v0.1.16 の変更リストは存在せず、エージェント別の性能数値も残っていない。研究記録には Momentum スコアのみが 10 点満点基準で 2.1 と記載されており、新規性や技術完成度のスコアは記されていない。デスクトップ自動化エージェントを評価しようとするチームにとっては実行環境の構成が参考になるだろうが、今回のバージョンで何が変わったかは、リポジトリのリリース記録を直接確認する必要がある。