github.devotd.
新着評価

mll-lab-nu/embodied-first-exam — 固定シーンベースのコードエージェント試験

複数のベンチマークから得られたロボットタスクのシーンをコードエージェントがプログラムとして解き、別のサンドボックスで検証する試験体系を紹介する。

リポジトリ情報mll-lab-nu/embodied-first-exam ↗

複数のベンチマークから得られたロボットタスクのシーンをコードエージェントがプログラムとして解き、別のサンドボックスで検証する試験体系を紹介する。

GitHub の説明: The first exam for code agents in the physical world: frozen robot tasks from many benchmark suites, each answered with a program and verified in a separate sandbox. Runs on Harbor.

スター
★ 83
フォーク
3
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

mll-lab-nu/embodied-first-exam は、複数のベンチマークから得られたロボットタスクのシーンをコードエージェントがプログラムとして解く試験体系である。課題ごとにプログラムひとつを解答として提出し、書いたコードは別のサンドボックスで実行されて検証される。試験の実行環境には Harbor を利用する。リポジトリは Python で書かれており、ライセンスは MIT、GitHub スターは 83 個である。正式版のリリースは登録されていない。

README では自前の試験(exam)9 組と複数の公開ベンチマークを併せて紹介し、リポジトリの紹介文では物理世界を扱うコードエージェント試験として初めてであることを主張している。試験シーンと入力を固定し、エージェントの振る舞いを評価する構成である。実際のロボットシミュレーションと結果検証の分離を併せて扱う点がこの構成の特徴である。このリポジトリの新鮮度スコアは 10 点満点で 9.0 点、品質スコアは 8.0 点である。

ただし、試験を動かすには Linux 環境とコンテナ構成が必要で、課題によっては GPU と大容量ストレージが要求されることがある。README には実行の流れと必要な環境条件が併せて記載されている。リポジトリの作成日は 2026 年 9 月 18 日でリリースはなく、モメンタムスコアは 10 点満点で 2.2 点である。公開されている試験結果や性能の数値がないため、実際の性能はこの資料だけでは判断しにくい。現時点では、試験構成と課題群そのものを確認するための参考資料として捉えるのが適切である。