xlang-ai/osworld 是一个基准测试，用于评估在真实计算机环境中执行开放式任务的多模态智能体。该工作发表于 NeurIPS 2024，仓库最初创建于 2023 年 10 月 16 日。最新版本是 v0.1.16，本次版本包含的变更内容在公开记录中并未留下。
评估方式是这个项目的核心。多模态智能体是同时读取多种形式的信息并操作计算机的程序，而 OSWorld 让该智能体在虚拟机内的多个应用中完成被要求的任务，任务结束后再检查最终状态并将其转化为评估结果。README 说明了使用 VMware 和 VirtualBox 进行桌面执行的方法，以及使用基于 Docker 的虚拟机运行的方法，同时还提到了 AWS 和 Azure 等平台支持。实现语言是 Python，许可证是 Apache-2.0。
不过，仅凭公开记录并不足以作出判断。v0.1.16 没有变更列表，也没有留下各智能体的性能数据。研究记录中只写有 Momentum 分数，满分 10 分中为 2.1，原创性与技术完成度分数均未记载。想要评估桌面自动化智能体的团队可以参考其运行环境配置，但本次版本究竟有哪些变化，仍需直接查看仓库的发布记录。