composo-ai/dishwasherbench는 Bosch SMV4HAX40G 한 대의 물리 시뮬레이션을 바탕으로 식기를 적재하는 게임형 언어모델 벤치마크다. 게임 이름은 Spotless이며 브라우저에서 플레이할 수 있다. 정식 릴리스 정보는 주어지지 않았다. 저장소는 TypeScript로 작성됐고 MIT 라이선스를 사용한다. 핵심은 모델이 정해진 격자와 행동으로 식기를 배치하고 세척 결과를 평가받는 과정이다.
시뮬레이션은 강체 물리 엔진 Jolt로 식기를 쌓고, Eco 50 프로그램의 물줄기를 실제 기기의 분사구 위치에서 추적한다. 같은 적재는 매번 같은 결과로 정착하므로 에피소드를 재현하거나 다시 세척해 확인할 수 있다. 사람은 브라우저에서, 모델은 MCP를 통해 같은 격자와 행동을 사용한다. 난이도는 7단계이며 문헌에 기반한 적재 현상 46종을 실행 가능한 세척 쌍으로 검사한다. 최고 단계 채점에는 약 5분, 빠른 미리보기에는 1분 안팎이 걸린다.
다만 공개된 평가는 모델 2종이 공식 티어의 3개 레벨에서 진행한 총 6회 에피소드다. 전체 레벨 2개에서는 두 모델 모두 스크립트로 만든 기준 적재인 브레이크퍼스트 174점과 디너파티 250점을 앞섰지만, 세척 판단은 점수에 거의 개입하지 않아 차이는 주로 적재 선택에서 났다. 식기를 쌓는 품질은 점수에 거의 반영되지 않고, 스팟과 건조도 모델링하지 않는다. 기술 점수는 미검증된 소규모 벤치마크라는 이유로 6.0이며, 현재 결과는 세척 능력보다 적재 선택을 살펴보는 초기 평가에 가깝다.