eleutherai/lm-evaluation-harness の最新リリース v0.4.13 が GitHub に公開されている。このリポジトリは、生成型言語モデルを多様な評価タスクで試す統合フレームワークだ。ただし、提供された記録には v0.4.13 の変更内容も公開日もなく、今回のリリースで何が変わったかは確認できない。
このフレームワークの目的は、言語モデルの評価作業をコマンドラインインターフェース（CLI）と設定に統一し、複数のモデルバックエンドで同じ方式で実行できるようにすることにある。README は、60 以上の標準的な学術ベンチマークと、数百個の下位タスクおよびその変種を実装していると明かしている。リポジトリの説明が語る few-shot 評価、すなわち例を使ってモデルの反応を試す方式が基本の前提となる。
モデル評価は transformers・vLLM・OpenAI API の経路から実行でき、 사용자定義プロンプトや評価指標にも対応している。公開プロンプトも併せて提供し、再現性と論文間の比較可能性を高めると明かしている。Hugging Face Open LLM Leaderboard のバックエンドとして利用されており、リポジトリは 2020 年 8 月 28 日に作成された。スター数は 14279、主な言語は Python、ライセンスは MIT である。
判断に使える資料はこれくらいだ。記録に残っているこのプロジェクトの momentum スコアは 10 点満点で 4.0 であり、novelty・tech・quality のスコアは値が示されていない。スコアがどのような 기준으로与えられたかも書かれていないため、4.0 という数字だけではこのツールを避けるか使うかを決めることはできない。v0.4.13 の変更一覧をリリースノートで直接確認するまでは、新バージョンへ移す理由があるかを判断するには早い。