xlang-ai/osworld는 실제 컴퓨터 환경에서 개방형 작업을 수행하는 멀티모달 에이전트를 평가하는 벤치마크다. NeurIPS 2024에서 소개된 작업이며, 저장소는 2023년 10월 16일에 처음 만들어졌다. 최신 릴리스는 v0.1.16이고, 이번 릴리스에 담긴 변경 항목은 공개된 기록에 남아 있지 않다.
평가 방식이 이 프로젝트의 핵심이다. 멀티모달 에이전트는 여러 형태의 정보를 함께 읽으며 컴퓨터를 조작하는 프로그램인데, OSWorld는 가상 머신 안의 여러 앱에서 이 에이전트가 요청된 작업을 수행하게 하고, 작업이 끝난 뒤 최종 상태를 검사해 평가로 바꾼다. README는 데스크톱 실행을 위해 VMware와 VirtualBox를 쓰는 방법과 Docker 기반 가상 머신으로 실행하는 방법을 설명하며, AWS와 Azure 같은 플랫폼 지원도 함께 언급한다. 구현 언어는 Python이고 라이선스는 Apache-2.0이다.
다만 공개된 기록만으로는 판단이 그치지 않는다. v0.1.16의 변경 목록이 없고, 에이전트별 성능 수치도 남아 있지 않다. 연구 기록에는 모멘텀 점수만 10점 만점 기준 2.1로 적혀 있고, 참신성·기술 완성도 점수는 기재되어 있지 않다. 데스크톱 자동화 에이전트를 평가해 볼 팀이라면 실행 환경 구성이 참고될 수 있지만, 이번 버전에서 무엇이 달라졌는지는 저장소의 릴리스 기록을 직접 확인해야 한다.