github.devotd.
새 소식평가

danielxu0208/rsi_eval — 에이전트 벤치마크용 RSI 평가 SDK

danielxu0208/rsi_eval은 재귀적 자기개선(RSI) 기법을 여러 에이전트 벤치마크에서 하나의 인터페이스로 평가하려는 경량 Python SDK이자 CLI다.

저장소 정보danielxu0208/rsi_eval ↗

danielxu0208/rsi_eval은 재귀적 자기개선(RSI) 기법을 여러 에이전트 벤치마크에서 하나의 인터페이스로 평가하려는 경량 Python SDK이자 CLI다.

GitHub 설명: A lightweight Python SDK and CLI for evaluating recursive self-improvement (RSI) methods across agent benchmarks.

스타
★ 138
포크
5
언어
Python
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

danielxu0208/rsi_eval은 재귀적 자기개선(RSI) 기법, 즉 개선 절차를 반복해 나아가는 접근을 에이전트 벤치마크에서 평가하기 위한 가벼운 Python SDK와 CLI다. 사용자가 개선 루프와 평가할 작업을 직접 골라 하나의 인터페이스 안에서 후보를 평가한다. 아직 정식 릴리스는 없고 2026년 10월 12일 만들어진 저장소다.

RSI를 다룬 논의는 정성적 주장에 그치는 경우가 잦다는 지적이 있다. 이 도구는 여러 벤치마크를 하나의 측정 틀에서 돌리게 해 공용 평가 기준으로 삼으려는 시도다. 개선 절차 자체는 사용자에게 맡겨 두고 평가 실행과 결과 수집만 맡는 구분이 분명하다. 후보별 평가 결과와 후보 스냅샷을 기록하고, 얻은 작업 피드백을 다음 후보에 활용할 수 있게 하며, 중단된 작업은 명시적으로 재개할 수 있다. SDK와 CLI 두 형태를 제공하고 파이썬으로 작성됐으며 라이선스는 Apache-2.0이다.

다만 공개된 정보에는 실제 벤치마크 결과나 후보 간 비교 수치가 없다. 개선 절차가 사용자 몫이라 이 SDK만으로 자기개선 과정을 그대로 돌려 보기는 어렵다. 저장소의 별은 137개이고 관성 점수는 4.7에 그쳤다. 정성 평가는 새로움 7.0, 기술 7.0, 품질 6.0으로 나왔다. 여러 연구의 측정 틀을 하나로 묶으려는 시도라는 점은 읽을 수 있지만, 그 기준이 자리 잡으려면 결과가 더 쌓여야 한다.