openai/multilangbench 是一套基于 SQLite 评估多种语言下语言模型的测试集。它要求模型亲手编写 SQLite 3.40.1 实现,再把生成的执行文件的结果与真实 SQLite 对比进行评分。是否使用了所要求的实现语言也会计入判定。随项目提供的材料是 SQLite 文档和转换后的测试。没有确认到公开的发布版本。列出的主要语言是 PLpgSQL,许可证是 Apache-2.0,星标数为 12 个。仓库创建于 2026 年 10 月 19 日。
这项评估的标准是模型所写实现的行为兼容性。每个测试分为初始数据库、模型要执行的查询,以及用于检查结果的校验查询。模型必须产出在给定初始状态下执行查询后的结果,再由校验查询确认该结果是否正确。据 README,原始的约 5.1 万条 TCL 测试中约有 2.4 万条被转换成这种形式,默认评估使用其中 272 条。子集评估降低了整套测试的成本,完整测试则单独留出,用于对高分结果做精细核验。
不过评估范围很窄,只覆盖 SQLite 的行为兼容性,默认评估也只用了转换后测试的一个子集。已收集的分数是创新度 8.0、技术 6.0、质量 6.0、动量 4.3。仅凭默认分数很难断定实现的准确性,精细核验仍要交给完整测试。