github.devotd.
新着評価

yuyaoge/doc2harness — コーディングエージェントのハーネス・ベンチマーク

モデルがコーディングエージェントのハーネスそのものを構築できるかを測る Doc2Harness ベンチマークの公式コードリポジトリ。

リポジトリ情報yuyaoge/doc2harness ↗

モデルがコーディングエージェントのハーネスそのものを構築できるかを測る Doc2Harness ベンチマークの公式コードリポジトリ。

GitHub の説明: Official Code for the paper "Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents "

スター
★ 113
フォーク
1
言語
Python
ライセンス
NOASSERTION
原文を見る ↗GitHub で見る ↗

yuyaoge/doc2harness は Doc2Harness 論文の公式コードリポジトリで、モデルがコーディングエージェントのハーネス(harness)そのものを構築できるかを評価する。ハーネスはエージェントを包む実行設定であり、このリポジトリではモデル自身が実装すべき対象として扱われる。リポジトリは 94 個のシナリオを公開する部分オープンソースのリリースで、実行には Python 3.11+ と Docker が必要だ。

このリポジトリのポイントは、評価軸そのものが新しいことにある。測るのはモデルがパッチをどれだけうまく使いこなせるかではなく、コーディングエージェントのハーネスをどれだけうまく作れるかだ。ステップ 1 では OpenCode を隔離コンテナで実行し、開発ドキュメントとインターフェースだけを持つ骨格の上にハーネスを実装させる。ステップ 2 では完成したハーネスを凍結し、スクリプト化されたモックモデルが別コンテナで end-to-end に駆動されるかを確認する。観測チャネルはモデルリクエスト、ディスク上のファイル、終了コード、コマンド出力の 4 つと明記されており、各シナリオには空の成功を弾く対照シナリオが付く。

ただし境界は明確だ。ライセンスは NOASSERTION と表記されており、正式なライセンスを確認できない。リーダーボードに載った 19 個のモデルの数値は、公開されている部分だけでは再現できず、README 自身が残りのケースは非公開だと明言している。ハーネスを構築する能力を見る軸としては今のところ参考にする価値はあるが、リーダーボードの数値を根拠にモデルの序列を語るには判断が早い。