openai/multilangbench는 SQLite를 기반으로 여러 언어의 언어 모델을 평가하는 시험 모음이다. 모델에게 SQLite 3.40.1 구현을 직접 작성하게 하고, 만들어진 실행 파일의 결과를 실제 SQLite와 비교해 채점한다. 요청된 구현 언어를 사용했는지도 판정에 반영된다. 함께 제공되는 자료는 SQLite 문서와 변환된 시험이다. 공개된 릴리스는 확인되지 않는다. 표시된 주 언어는 PLpgSQL, 라이선스는 Apache-2.0이며 별은 12개다. 2026년 10월 19일 만들어진 저장소다.
이 평가의 기준은 모델이 만든 구현의 동작 호환성이다. 시험 하나는 초기 데이터베이스, 모델이 실행할 질의, 결과를 검사하는 검증 질의로 나뉜다. 모델은 주어진 초기 상태에서 질의를 실행한 결과를 만들어야 하고, 검증 질의가 그 결과가 맞는지 확인한다. README에 따르면 원래 TCL 시험 약 5만1천 건 중 약 2만4천 건을 이 형태로 변환했고, 기본 평가는 그중 272건을 사용한다. 부분집합 평가로 전체 시험의 비용을 줄이고, 전체 시험은 점수가 높게 나온 결과를 정밀하게 확인할 때 쓸 수 있도록 나눠 놓았다.
다만 평가 범위는 SQLite 동작 호환성 하나로 좁고, 기본 평가는 변환된 시험의 부분집합에 그친다. 수집된 점수는 새로움 8.0, 기술 6.0, 품질 6.0, 모멘텀 4.3이다. 기본 점수만으로 구현의 정확도를 단정하기 어렵기 때문에, 정밀한 확인은 전체 시험에 맡겨야 한다.