github.devotd.
新着評価ハーネス

scaleapi/agentenv-framework v0.9.1336 — エージェント評価環境 SDK

scaleapi/agentenv-framework は、エージェント評価環境をバージョン付きイメージとしてビルド・デプロイし、エージェントが 수행한作業を採点する Python SDK と CLI である。

リポジトリ情報scaleapi/agentenv-framework ↗

研究者・エンジニア・領域専門家が現実的で再現可能な強化学習環境を共同構築するフレームワークです。

GitHub の説明: Creating realistic RL environments requires collaboration between researchers, engineers, and domain experts across many dimensions: artifacts, environments tools, dynamism of the environment, reproducibility, and more. There is no open source framework for building these environments effectively. Until now.

スター
★ 349
フォーク
30
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.9.1336
原文を見る ↗GitHub で見る ↗

scaleapi/agentenv-framework は、エージェント評価用の環境を作成し、その中でエージェントが 수행한作業を採点する Python SDK と CLI である。GitHub のリリース履歴における最新版は v0.9.1336 であり、ライセンスは Apache-2.0 である。ただし、提示された記録には v0.9.1336 の変更内容が記載されていない。

環境は公開プロトコル agentenv-framework-protocol を用いるコンテナサーバーとして定義される。バージョン指定されたイメージにビルドしてゲートウェイの背後にデプロイされ、デプロイされた環境がエージェント作業の採点を担う。バンドルフォルダは参照をストアに保持されたバージョンに固定し、ローカル実行と編集を両立して提供する。デプロイ名は agentenv-framework、インポートパッケージは agent_env、コマンドは agent-env である。

プロジェクトが狙う問題は、現実的な強化学習(RL)環境を作ることである。リポジトリの説明は、アーティファクト、環境ツール、環境の変化、再現性といった複数の軸で、研究者とエンジニア、ドメイン専門家が協働して作業する必要があると記す。リポジトリは、このような環境を効率よく作るオープンソースフレームワークは存在しなかったと主張する。コードの中で RL 環境の構築を裏づけるのは episode API である。外部の学習ループではエージェントを 1 つまたは 2 つだけ直接プレイさせ、残りのエピソードはフレームワークが実行する。GitHub に表示されているスター数は 349 である。

ただし、性能指標や独自ベンチマークの結果はなく、主要機能である Vercel サンドボックスプロバイダーはまだリリースされていない。評価スコアは新規性 7.0、技術 6.0、品質 8.0、モメンタム 4.1 であり、技術スコアが低い理由は定量的な性能根拠がないことである。性能根拠がない状態で採用を決めるのは早計である。サンドボックスプロバイダーと独自ベンチマークがそろってから判断するのが適切である。