Inspect AI(ukgovernmentbeis/inspect_ai)は大規模言語モデルのための評価フレームワークだ。GitHub の 0.3.282 タグに掲載されたリリースノートによると、このバージョンは 2026 年 10 月 19 日(UTC)にリリースされ、同じサンプルで並列実行されるエージェントごとにツール(tool)状態を分離する変更を含んでいる。
評価とは、モデルに課題を与え、その結果を基準と突き合わせて質を測る手続きである。評価フレームワークは、その課題と採点基準をコードで定義し、モデルを繰り返し実行して結果を比較するツールだ。Inspect AI は GitHub で公開されているリポジトリで、表示されているスター数は 3057 である。今回の変更が狙ったのは、複数のエージェントを同じサンプルに並列で組み込む評価方式である。エージェントごとにツール状態を分けると、一つのエージェントのツール利用履歴が他のエージェントと混ざらない。同じリリースには、シャーディング実行(sharded execution、作業を複数の塊に分けて処理する実行)の条件付き保存とロック補助機能、およびキャンセルされた評価とツール呼び出し・使用量(usage)の集計に関する修正も含まれている。
ただし、このリリースの説明には性能指標も採点結果の比較もない。ツール状態の分離が既存の評価結果を変えるのか、シャーディング実行の条件付き保存とロック補助機能がどのような条件で動作するのかについては説明されていない。並列の複数エージェント評価に直接影響する変更だが、単一エージェントの評価結果に与える影響は、このリリースの説明だけでは判断できない。