SWE-bench は GitHub から収集した実際のソフトウェア Issue を言語モデルに解かせるベンチマークである。リポジトリ swe-bench/swe-bench は、コードベースと Issue が与えられたときモデルが問題を解決するパッチを生成し、Docker を利用した再現可能な評価方法とデータセットの使い方を併せて提供する。README は、このベンチマークの問いを「言語モデルが実際の GitHub Issue を解決できるか」としている。資料にはリリースバージョンが示されない。
このベンチマークの特徴は、実際のリポジトリから収集した Issue をそのまま評価対象にしている点である。コードベースを保持したまま、パッチが問題を解決するかを再現可能なテストで確認するため、モデルのリポジトリ構造の読み取りと修正の継続という能力を測ることに近い。評価が Docker 環境で再現されることは、他所で結果を確認できることを意味する。実装言語は Python、ライセンスは MIT である。リポジトリは 2023 年 10 月 4 日に作成され、スター数は 6061 個だ。
ただし、この資料には特定モデルの測定結果はない。確認できる評価項目は momentum スコア 3.9 のみで、novelty（新規性）・tech（技術）・quality（品質）のスコアは与えられていない。スター数と momentum スコアは特定時点で記録された値であり、性能の代わりにはならない。評価ツールとデータセットは揃っているものの、どのモデルがどの水準に到達するかを比較した結果がないため、現時点では自分で試すのがよいツールに近い。