simreal-ai/simreal-mlbench 中 2026 年 9 月 24 日的提交 bfd685e 是一项将该仓库标记为公开预览的文档变更。它在 README 顶部添加了状态徽章，并补充说明：该仓库是 ML Benchmark 的公开最小组成部分，而评估运行时与官方评分路径、整套测试的评审都在 SimReal 引擎中执行，因此不在本仓库内。文档末尾新增一段，说明本仓库是 SimReal 产品系列公开预览之一，完整的预览列表链接至 github.com/Simreal-AI。仅在 SHA256SUMS 中更新了变更后的 README.md 的 SHA256 哈希；本次变更新增 11 行、删除 1 行，代码和评分方式保持不变。
本仓库是面向机器学习研究智能体的外部评分评估环境。README 说明 60 个任务涵盖表征学习、预测、视觉、语言、语音、多模态学习以及结构化科学数据。智能体需要理解数据集并开发建模方式，运行实验后提交预测；评估对象被定义为完整的研究流程，包括数据理解、特征工程、验证设计、模型选择、超参数调优、集成、调试、资源分配以及稳健的交付。公开的片段包含 60 个任务目录、评估协议、评分代码和客户端 SDK，README 写明本仓库受 openai/mle-bench 启发，但任务选择、资源协议和评分方式有所不同。使用方法被拆分到单独文档中说明，包括智能体指南、环境配置、网关和发布结构。
问题在于无法直接复现官方分数。评估运行时与官方评分路径、整套测试的评审都在 SimReal 引擎中，本仓库内没有执行路径。README 说明本仓库仍处于早期阶段并会发生变化，并指引研究团队与合作伙伴如需完整访问请联系 business@simreal.co。本次提交记录未给出许可证类型。由于该提交仅限于文档变更，尚无法判断分数或任务构成的变化；如果计划接入智能体，值得先考虑评分路径是封闭的这一事实。