github.devotd.
新发现评测框架

scaleapi/agentenv-framework v0.9.1336 — 智能体评估环境 SDK

scaleapi/agentenv-framework 是一个 Python SDK 和 CLI,用于将智能体评估环境构建为带版本的镜像并部署,同时对智能体完成的任务进行评分。

仓库信息scaleapi/agentenv-framework ↗

供研究者、工程师和领域专家协作构建逼真且可复现的强化学习环境。

GitHub 项目说明: Creating realistic RL environments requires collaboration between researchers, engineers, and domain experts across many dimensions: artifacts, environments tools, dynamism of the environment, reproducibility, and more. There is no open source framework for building these environments effectively. Until now.

星标
★ 349
复刻
30
语言
Python
许可证
Apache-2.0
最新版本
v0.9.1336
查看原始来源 ↗在 GitHub 查看 ↗

scaleapi/agentenv-framework 是一个 Python SDK 和 CLI,用于创建智能体评估环境,并对其中智能体执行的任务进行评分。GitHub 发布记录中的最新版本是 v0.9.1336,遵循 Apache-2.0 许可证。不过,给出的记录中没有 v0.9.1336 的变更内容。

环境被定义为一个使用公开协议 agentenv-framework-protocol 的容器服务器。它被构建为指定版本的镜像,部署在网关之后,由已部署的环境负责对智能体任务进行评分。bundle 文件夹将引用固定为存储中持有的版本,同时兼顾本地运行与编辑。部署名称为 agentenv-framework,导入包为 agent_env,命令为 agent-env。

该项目瞄准的问题是构建真实的强化学习(RL)环境。仓库说明写道,研究者、工程师和领域专家需要在制品、环境工具、环境变化、可复现性等多个维度上共同协作。仓库主张,此前并不存在能够有效构建这类环境的开源框架。代码中支撑 RL 环境构建的部分是 episode API。在外部学习循环中只有一两个智能体被直接运行,其余 episode 由框架执行。GitHub 上显示的星标数为 349。

不过,目前没有性能指标或自有基准测试结果,主要功能 Vercel 沙箱提供器也尚未发布。评估分数为新颖性 7.0、技术 6.0、质量 8.0、势头 4.1,技术分数偏低的原因在于缺少定量的性能依据。在缺乏性能依据的情况下决定采用为时过早。等沙箱提供器和自有基准测试公布之后再做判断更为妥当。