openai/multilangbenchは、SQLiteを土台に複数の言語の言語モデルを評価するテスト集です。モデルにSQLite 3.40.1の実装を直接書かせ、出来上がった実行ファイルの結果を実際のSQLiteと比較して採点します。指定された実装言語を使ったかどうかも判定に反映されます。併せて提供される資料はSQLiteのドキュメントと変換済みのテストです。公開されているリリースは確認できません。表示されている主言語はPLpgSQL、ライセンスはApache-2.0、スターは12個です。2026年10月19日に作成されたリポジトリです。
この評価の基準は、モデルが作った実装の動作互換性です。テスト1件は、初期データベース、モデルが実行するクエリ、結果を検査する検証クエリに分かれます。モデルは与えられた初期状態からクエリを実行した結果を作り、検証クエリがその結果の正しさを確認します。READMEによれば、元のTCLテスト約5万1千件のうち約2万4千件をこの形式に変換し、デフォルト評価はそのうち272件を使います。部分集合評価によって全テストのコストを抑え、全テストはスコアが高く出た結果を精密に確認するために使えるように分けてあります。
ただし評価の範囲はSQLiteの動作互換性だけに狭く、デフォルト評価は変換済みテストの部分集合にとどまります。収集されたスコアは、新しさ8.0、技術6.0、品質6.0、モメンタム4.3です。デフォルトのスコアだけでは実装の正確さを断定しにくいため、精密な確認は全テストに委ねる必要があります。