EvalDock(evaldock/evaldock)は、異なるエージェントと、同じエージェント内のプラグイン構成を 1 つの作業単位として実行して評価するエンドツーエンド(end-to-end)評価フレームワークである。TypeScript で書かれており、リポジトリは 2026 年 9 月 30 日に作成された。公開リリースはまだない。
このツールが狙う問題は、エージェントの評価がフレームワークごとに分かれていることである。EvalDock は異なるエージェントとプラグインを一つのまとまりとして評価する。エージェントごとに異なる実行方式を実行アダプターで包み、データセットとトレース形式、評価判定は共有する。エンドツーエンドとは、課題を渡したあとのツール呼び出しと出力が出る過程と、その結果に対するスコアまでを 1 つの流れとして扱うという意味である。同じ課題を実行するとツール呼び出しと出力、スコアと根拠が 함께残るので、エージェント同士はもちろん、エージェント内のプラグイン構成同士も並べて比較できる。実行方式が異なっていても共有層を経由する構造が比較可能性を高める。作業台でエージェントとプラグイン、課題を選んで実行を管理する。リポジトリの GitHub スター数は 47 である。
限界は README にそのまま書かれている。小規模な標本推定と実行トレースグラフは次バージョンの構想として区分されており、公開版ではまだ有効になっていない。ライセンスも明記されていない。調査記録のスコアは新鮮度 7.0、技術 5.0、完成度 6.0、モメンタム 2.1 で、低いのはモメンタムだけである。共有アダプターとトレース・評価層で比較可能性を高める設計は明確だが、公開版にない機能が実装範囲を狭める。標本推定とトレースグラフが実際に機能するかどうかは、次のリリースで確認する必要がある。