danielxu0208/rsi_eval は、エージェントベンチマークで再帰的自己改善（RSI）手法、すなわち改善手順を繰り返して Downloading 愈发良くなるアプローチを評価するための軽量な Python SDK と CLI だ。ユーザーは改善ループと評価するタスクを自分で選び、単一のインターフェース内で候補を評価する。正式なリリースはまだなく、2026 年 10 月 12 日に作成されたリポジトリである。
RSI を扱う議論は定性的な主張にとどまりがちだという点が指摘されている。このツールは、複数のベンチマークを単一の測定枠組みで実行し、共通の評価基準にしようとした試みだ。役割分担は明確で、改善手順そのものはユーザーに委ね、このツールは評価の実行と結果の収集だけを担当する。候補ごとの評価結果と候補スナップショットを記録し、得られたタスクフィードバックを次の候補に活かせるようにし、中断したタスクは明示的に再開できる。SDK と CLI の両方の形態を提供し、Python で書かれていて、ライセンスは Apache-2.0 である。
ただし、公開されている情報には実際のベンチマーク結果も候補間の比較数値もない。改善手順がユーザーの担当であるため、この SDK だけで自己改善の過程をそのまま再現するのは難しい。リポジトリのスターは 137 で、慣性スコアは 4.7 に留まった。定性評価は、新しさ 7.0、技術 7.0、品質 6.0 となった。複数の研究の測定枠組みを一つにまとめようとした試みであることは読み取れるが、その基準が根付くにはより多くの結果の蓄積が必要である。