SWE-bench 是一个把从 GitHub 收集的真实软件 issue 交给语言模型解决的基准。仓库 swe-bench/swe-bench 规定：给定代码库与 issue，由模型生成解决该问题的补丁，同时提供基于 Docker 的可复现评估方法以及数据集的使用方式。README 把该基准的问题设定为：语言模型能否解决真实的 GitHub issue。资料中没有给出发布版本。
这一基准的特点在于，直接把从真实仓库收集的 issue 作为评估对象。由于在保留代码库的前提下，用可复现的测试来验证补丁是否解决了问题，它更接近于衡量模型阅读仓库结构并持续完成修改的能力。评估在 Docker 环境中复现，意味着结果可以在别处再次核对。实现语言为 Python，许可证为 MIT。仓库创建于 2023 年 10 月 4 日，star 数为 6061 个。
不过，这份资料中并没有任何特定模型的实测成绩。可查到的评分项只有 momentum 分数 3.9 一个，novelty（新颖性）、tech（技术）、quality（质量）分数均未给出。star 数和 momentum 分数是特定时间点记录的数值，不能替代性能。评估工具与数据集已经齐备，但缺少不同模型之间水平高低的比较结果，因此目前更接近一个可以直接上手试用的工具。