2026年10月28日、コミット 7a8c975 が zju-real/ageval リポジトリに入った。テスト対象のエージェントをプラグインに差し替え、同じデータセットをどこからでも実行できる評価ツールの、ドキュメントのみを変更するコミットである。81行の追加、0行の削除で、触れたファイルは4つだ。
核心は新しくできた skills/eval-ops-pitfalls/SKILL.md だ。実行前に確認すべき6つの項目と評価器設定のチェック手順を 담고 있다。停止したローカル HTTP_PROXY による環境イメージの解決失敗、AGEVAL_AGENT_INVOKE_TIMEOUT と acp_timeout の関係、AGEVAL_APT_MIRROR を使うパッケージミラーへのアクセス性、モデル ID とプロバイダ接頭辞によるルーティングエラー、PEP668(externally-managed-environment) で阻まれる Python パッケージインストール、評価器の依存関係とファイル権限の問題だ。症状ごとに何を確認すべきかが表に整理されている。このスキルは skills/ageval-platform/SKILL.md のルーティング表に 'Pre-run environment checks and suite troubleshooting' の項目として登録され、CLI 側の skills/ageval-cli/references/failures.md の表には environment_image_unresolved、acp_timeout、API 400、PEP668、ほぼ全体が FAIL になる場合がそれぞれ $eval-ops-pitfalls を指すように5行追加された。Docker プラグインの README も1行変更になった。
方向は明確だ。モデルの性能ではなく、環境準備の失敗を先に排除して初めて結果を解釈できるとという判断をドキュメントとして残している。ほぼすべてのタスクが失敗したりパッチが空だったりするときは、代表的な結果から共通の原因を見つけ、修正したうえで代表実行で検証してから新しいスイートを実行する、という順序も明示している。ただし今回の変更はドキュメント81行がすべてだ。このスキルが挙げる環境変数のデフォルト値や対応範囲、各エラーコードを再現した結果はこのコミットには含まれていない。どの環境でこのチェックだけで十分かは、README とリリース履歴がもっと貯まった後に判断できる。