ukgovernmentbeis/inspect_ai は大規模言語モデルの評価のためのフレームワークである。記録されている最新リリースバージョンは 0.3.282 だ。ただし提供された資料にはこのバージョンのリリースノート項目がないため、何が変わったかは確認できない。リポジトリは 2023 年 11 月 14 日に作成され、主な言語は Python、ライセンスは MIT、GitHub スターは 3050 個である。
README は Inspect が UK AI Security Institute によって作成された大規模言語モデル評価フレームワークであると明かしている。評価フレームワークとは、評価する質問と採点基準をコードで定義しておく枠組みのことである。このプロジェクトはプロンプトエンジニアリング、ツール利用、複数ターンの対話、モデル採点(model grading)のためのコンポーネントを提供する。モデル採点とは、決められた基準でモデルの応答を評価し、点数にまとめる機能である。他の Python パッケージで拡張でき、どのモデルでも実行できる事前構成済みの評価コレクションも含まれている。
ただし根拠は、リポジトリの説明と README 自身が明かしている内容に限られる。リポジトリの説明は大規模言語モデルの評価のためのフレームワークであると述べる一文のみで、評価の精度や実行性能を比較したベンチマークは示されていない。整理された評価スコアでも、新異性(Novelty)・技術(Technical)・品質(Quality)の項目には値がなく、Momentum の項目だけが 3.6 と記録されている。今期待すべきは、特定の性能優位性ではなく、評価コードを自分で書いて動かせることに近い。