github.devotd.
新发现评测

composo-ai/dishwasherbench — 面向语言模型的餐具装载基准

一个游戏式基准:模拟一台 Bosch SMV4HAX40G,人在浏览器里游玩,语言模型则在相同规则下接受评估。

仓库信息composo-ai/dishwasherbench ↗

A dishwasher-loading game on a physical simulation of one real machine, built to benchmark language models and playable in a browser. The game inside is called Spotless.

星标
★ 70
复刻
5
语言
TypeScript
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

composo-ai/dishwasherbench 是一款以单台 Bosch SMV4HAX40G 的物理仿真为基础、让模型装载餐具的游戏式语言模型基准。游戏名为 Spotless,可在浏览器中游玩。官方未给出正式发布信息。仓库使用 TypeScript 编写,采用 MIT 许可证。核心在于模型按规定网格与既定动作摆放餐具,并据此得到洗涤结果评分的过程。

仿真用刚体物理引擎 Jolt 堆叠餐具,并按真实设备喷淋臂的位置追踪 Eco 50 程序的水流。同一种装载每次都会收敛到相同结果,因此可以复现回合,或重新洗涤加以确认。人类通过浏览器操作,模型则通过 MCP 使用同一套网格与动作。共 7 个难度等级,并将文献记载的 46 种装载现象作为可执行的洗涤配对来检验。最高等级的评测约需 5 分钟,快速预览约需 1 分钟。

不过已公布的评估只是两个模型在官方档位三个关卡上进行的共 6 个回合。在两个完整关卡中,两个模型都超过了脚本生成的基准装载——早餐 174 分、晚宴 250 分——但洗涤判断几乎不影响得分,差异主要来自装载选择。餐具堆叠的质量几乎不体现在分数里,也不建模污渍与烘干。技术评分为 6.0,理由是它属于未经验证的小规模基准;当前结果更接近一项初步评估,关注的是装载选择而非洗涤能力。