apple-aiml-research/ml-rsi-inference-bench는 대규모 언어 모델의 추론 스택을 개선하는 코딩 에이전트를 위한 장기 지평(long-horizon) 벤치마크다. apple-aiml-research 조직이 2026년 10월 16일에 만든 저장소로, 구현 언어는 Python이고 릴리스 태그나 버전 표기는 없다. 저장소 스타는 105개다.
벤치마크는 자기개선(self-improving) 추론 시스템을 겨냥한 코딩 에이전트를 평가한다. 에이전트는 실제 vLLM이나 SGLang 엔진과 GPU를 사용해 과제를 수행한다. 과제는 모델 생애주기를 세 단계로 나눈다. Day-0 Model Support는 신규 모델 지원, Inference Optimization은 운영 중 최적화, Bug Fix는 회귀 수정이다. 점수는 첫 단계의 통과 여부와 나머지 두 과제의 속도 향상으로 매겨지며, 실행은 Pier 프레임워크를 통해 이루어진다. 즉 모델 자체가 아니라 에이전트가 엔진에 적용한 변경의 효과를 재는 방식이다. 점수가 에이전트의 자기보고가 아니라 별도 검증기가 직접 빌드해 재는 구조라 에이전트 평가 설계 측면에서 참고할 만하다. 자기개선 에이전트를 겨냥한 공개 평가가 늘 부족한 가운데 공식 코드로 열린 사례는 드물다.
다만 확인되지 않은 지점도 분명하다. 아직 공개된 결과 수치가 없고 논문도 예정이라, 이 벤치마크가 어떤 개선을 실제로 만들어내는지는 지금 가늠하기 어렵다. 라이선스도 확인되지 않아 이용 조건을 알 수 없다. 실측 성능을 비교하려는 사람은 결과가 공개될 때까지 기다리는 편이 맞다.