mupt-ai/self-bench は、リポジトリの統合済みプルリクエストから構築される非公開の Harbor 形式の評価を用いて、コーディングエージェントとモデルをベンチマークするプロジェクトです。プロダクションリリース prod-20261015-44ef8ca では、イメージビルダーが設定されていない環境で新しいジョブの作成に失敗していた問題を修正しました。リリース説明によると、その環境でもソースビルドを再検証するように変更されています。この変更は、イメージビルダーなしではジョブを作成できなかった経路を復旧したものです。
このプロジェクトの評価はユーザーのリポジトリで統合された変更に基づいて生成され、公開の評価セットではなく非公開の評価セットです。したがって、一般的なコーディング能力を測る汎用的な試験より、特定のリポジトリの変遷履歴に紐づくエージェントとモデルの評価に重点を置いています。今回の修正も評価方式やスコア算出を変更したものではなく、ジョブ作成に必要なソースビルドの検証経路を再び動作させるものです。リリース説明には、Modal イメージビルダーが設定されている必要があるというメッセージとともに、新しいジョブが失敗する状況が記載されています。
確認できる範囲は、イメージビルダーが設定されていない環境でのジョブ作成の復旧までです。リリース要約は他のビルド環境や評価結果が変わったかどうかを説明していないため、この修正だけでベンチマーク性能や評価の範囲まで変わったとは考えられません。リポジトリの説明では評価は統合済みプルリクエストから生成されるとありますが、今回リリースが扱う変更は評価コンテンツではなく、それを実行するためのビルド経路です。したがって、このリリースは新しい評価機能の追加というよりは、イメージビルダー不在で止まっていたジョブ作成の復旧と捉えるほうが正確です。