simreal-ai/simreal-mlbench の 2026 年 9 月 24 日のコミット bfd685e は、このリポジトリを公開プレビューと表示するドキュメント変更である。README の先頭にステータスバッジを追加し、このリポジトリが ML Benchmark の公開・最小構成要素であり、評価ランタイムと公式スコアリング経路、およびスイート全体の審査は SimReal エンジンで実行されるため本リポジトリには存在しない、という案内を追加した。ドキュメント末尾には、本リポジトリが SimReal 製品群の公開プレビューの一つであることを示す節が付けられ、公開プレビュー一覧は github.com/Simreal-AI へリンクされている。SHA256SUMS で更新されたのは変更後の README.md の SHA256 ハッシュのみで、11 行追加・1 行削除であり、コードとスコアリング方式はそのままである。
このリポジトリは機械学習研究エージェント向けの外部スコアリング評価環境である。README は 60 タスクが表現学習、予測、視覚、言語、音声、マルチモーダル学習、構造化科学データをまたぐと明かしている。エージェントはデータセットを理解しモデリング手法を開発して実験を行い、予測を提出する。評価対象は、データ理解、特徴量エンジニアリング、検証設計、モデル選択、ハイパーパラメータ調整、アンサンブル、デバッグ、リソース配分、安定した成果物まで、研究プロセス全体として定義される。公開されている断片には 60 タスクのカタログ、評価プロトコル、スコアリングコード、クライアント SDK が含まれ、README は本リポジトリが openai/mle-bench から着想を得たものだが、タスク選択・リソースプロトコル・スコアリング方式は異なると記している。利用方法は、エージェントガイド、環境設定、ゲートウェイ、リリース構成の説明という別ドキュメントに分けて案内している。
問題は公式スコアを直接再現できない点にある。評価ランタイムと公式スコアリング経路、スイート全体の審査は SimReal エンジンにあり、本リポジトリには実行経路がないためである。README は自身を初期段階であり変更されると明かし、研究室とパートナー向けのフルアクセスについては business@simreal.co へ連絡するよう案内している。ライセンスの種類は本次コミットの記録では示されていない。本コミットは書類変更にとどまるため、スコアやタスク構成の変化を判断するには時期尚早であり、エージェントを接続する計画があるなら、まずスコアリング経路が閉じている点を考慮する価値がある。