github.devotd.
新发现评测

qwenlm/blenderworld — 面向视觉智能体的 Blender 3D 基准

qwenlm/blenderworld 是一个基准,用于评估视觉智能体将真实世界参考素材转化为可编辑 Blender 场景的能力。

星标
★ 116
复刻
4
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

qwenlm/blenderworld 是一个基准,用于评估视觉智能体基于真实世界参考素材在 Blender 中构建可编辑 3D 场景的能力。该项目由 Qwen 团队以 GitHub 仓库形式发布,未提供单独的最新版发行版本。

该基准包含 223 个任务和 2,651 条二元评分标准。输入由 78 个文本、130 张图像和 15 段视频组成,其中 59 个任务附带尺寸或材质等规格文件。智能体接收任务说明和参考素材,随后提交 final.blend 以及要求交付的产物。评分器使用 Cycles 渲染器,以 1024x1024 分辨率、64 采样,从符合场景情境的八个视角渲染场景,并允许每个视角最多进行两轮修正渲染。结构判定采用智能体评审方式,视觉标准与八项质量评分则由视觉语言模型评估。最终分数各有一半权重来自加权后的结构分数和八项质量评分的平均值。

公开的评分器未设置分数上限。此外,结构判定与视觉评估的三个角色都使用 GPT-5.6-terra,难以排除评估者偏差;仓库的测试路径只有 harbor_assets/test.sh 一个,因此对评分逻辑本身的自动化验证也十分有限。因此分数比较会受到评估方式和验证范围局限的影响。