qwenlm/blenderworld は、現実世界の参照素材をもとに Blender で編集可能な 3D シーンを構築する視覚エージェントを評価するベンチマークです。Qwen チームが GitHub リポジトリとして公開しており、独立した最新リリースバージョンは提示されていません。
ベンチマークは 223 のタスクと 2,651 の二値採点基準で構成されています。入力はテキスト 78 件、画像 130 枚、動画 15 本で、59 のタスクには寸法やマテリアルなどの仕様ファイルが付属します。エージェントはタスク概要と参照素材を受け取り、final.blend と要求された成果物を提出します。採点器は Cycles レンダラーで 1024x1024 解像度、64 サンプルの設定を、状況に適した8 つの視点から描画し、各视角で最大 2 回までの修正描画を許可します。構造判定はエージェント審査方式で行われ、視覚基準と 8 項目の品質評価は視覚言語モデルが評価します。最終スコアは、加重された構造スコアと 8 項目の品質評価の平均をそれぞれ半分ずつ反映します。
公開されている採点器にはスコアの上限がありません。また、構造判定と視覚評価の 3 つの役割すべてに GPT-5.6-terra を使っているため、評価者の偏りを排除しにくく、リポジトリのテストパスは harbor_assets/test.sh の 1 つだけなので、採点ロジック自体の自動検証にも限界があります。したがって、スコア比較には評価方法と検証範囲の限界が伴います。