eleutherai/lm-evaluation-harness 的最新版本 v0.4.13 已在 GitHub 发布。该仓库是一个统一框架，用于在多种评估任务上测试生成式语言模型。不过，所提供的记录既没有 v0.4.13 的变更内容，也没有发布日期，因此无法确认本次发布究竟有哪些改动。
该框架的目的是把语言模型评估工作统一到命令行界面（CLI）和配置上，使同一套评估能在多个模型后端上以相同方式运行。README 表示已实现 60 多个标准学术基准，以及数百个子任务与变体。仓库说明中提到的 few-shot 评估，也就是用示例测试模型反应的方式，是它的基本前提。
模型评估可以通过 transformers、vLLM 和 OpenAI API 路径进行，同时支持自定义提示词和评估指标。项目表示会一并提供公开提示词，以提高可复现性以及论文之间的可比性。它被用作 Hugging Face Open LLM Leaderboard 的后端，仓库创建于 2020 年 8 月 28 日。star 数为 14279，主要语言为 Python，许可证为 MIT。
可供判断的资料大致就是这些。记录中这个项目的 momentum 分数为 10 分制下的 4.0 分，而 novelty、tech、quality 分数没有给出数值。评分依据也没有一并说明，因此仅凭 4.0 这个数字无法决定该回避还是该采用这个工具。在从发布说明中直接确认 v0.4.13 的变更清单之前，判断是否值得迁移到新版本还为时过早。