composo-ai/dishwasherbench は、Bosch SMV4HAX40G 1台の物理シミュレーションを基盤に食器を詰めるゲーム型の言語モデルベンチマークだ。ゲーム名は Spotless で、ブラウザでプレイできる。正式なリリース情報は示されていない。リポジトリは TypeScript で記述され、MIT ライセンスを使っている。核心は、モデルが決められたグリッドと行動で食器を配置し、洗浄結果を評価される過程にある。
シミュレーションは剛体物理エンジン Jolt で食器を積み上げ、実機の噴霧アームの位置から Eco 50 プログラムの水流を追跡する。同じ詰め込みは毎回同じ結果に収束するため、エピソードを再現したり、洗い直して確認したりできる。人間はブラウザで、モデルは MCP を通じて同じグリッドと行動を使う。難易度は7段階で、文献に基づく46種の詰め込み現象を実行可能な洗浄ペアとして検査する。最高段階の採点には約5分、快速プレビューには1分前後かかる。
ただし公開されている評価は、公式ティアの3つのレベルで2モデルが行った計6エピソードにすぎない。2つの全体レベルでは、両モデルともスクリプトで作成した基準詰め込み（ブレークファスト174点、ディナーパーティー250点）を上回ったが、洗浄の判断はスコアにほとんど寄与せず、差は主に詰め込みの選択から生じた。食器を積む質量はスコアにほとんど反映されず、スポットや乾燥もモデル化していない。技術スコアは未検証の小規模ベンチマークであることから6.0とした。現在の結果は、洗浄能力ではなく詰め込みの選択を見つめる初期評価に近い。