apple-aiml-research/ml-rsi-inference-bench は、大規模言語モデルの推論スタックを改善するコーディングエージェントのための長期地平(long-horizon)ベンチマークである。apple-aiml-research 組織が 2026 年 10 月 16 日に作成したリポジトリで、実装言語は Python で、リリースタグやバージョンの表記はない。リポジトリのスターは 105 個である。
このベンチマークは、自己改善する推論システムを狙うコーディングエージェントを評価する。エージェントは実際の vLLM や SGLang エンジンと GPU を使って課題を実行する。課題はモデルライフサイクルを三段階に分ける。Day-0 Model Support は新規モデル対応、Inference Optimization は運用中の最適化、Bug Fix は回帰の修正である。スコアは第一段階の合格可否と残り二つの課題における速度向上で付けられ、実行は Pier フレームワークで行われる。つまり、モデル自体ではなく、エージェントがエンジンに適用した変更の効果を測る方式である。スコアがエージェントの自己申告ではなく、独立した検証器が実際にビルドして測定する構造であることから、エージェント評価の設計という観点で参考になる。自己改善エージェントを対象とした公開評価は常に不足しており、公式コードとして公開されている事例も稀である。
ただし確認できていない点も明確である。公開されている結果の数値はまだなく、論文も予定段階なので、このベンチマークが実際にどのような改善を生み出しうるかは今のところ読みにくい。ライセンスも確認されておらず、利用条件は分からない。実測性能を比較したい人は、結果が公開されるまで待つほうがよい。