openai/evals 既是用于评估大型语言模型（LLM）以及由 LLM 构建的系统的框架，也是一个公开评估注册表。评估（eval）指的是用既定的项目来测试模型。该仓库以 Python 编写，创建于 2023 年 1 月 23 日，GitHub 星标数为 19621。本文的信息来源是 GitHub 上的 openai/evals 仓库。
该仓库包含两条主线。一边是公开评估注册表，汇集了用于测试 OpenAI 模型各个方面的评估；另一边是运行用户自行编写的评估的框架。注册表本身是一份公之于众的基准测试清单，在其之上可以针对内部数据实现并运行自定义评估。README 说明，还可以构建不公开数据、贴合业务流程的非公开评估（private eval）。文档同时指出，评估可以在 OpenAI Dashboard 中配置并运行。
还有一些边界需要确认。项目没有公开发布版本，因此无法确定最新版本号；许可证标注为 NOASSERTION，需要另行核实再使用条款。观测到的动量指标也偏低，10 分制下仅为 2.1。实际运行需要 OpenAI API 密钥以及 Python 3.9 以上版本，因此更稳妥的做法是先了解公开评估的覆盖范围和非公开评估的实现方式，再决定是否引入。