SWE-bench 入门：背景、特点与任务定义

概览

§ 1 起源与定位：Princeton 2023 · ICLR 2024

SWE-bench（名字拆解：SWE = Software Engineering，软件工程；bench = benchmark，基准测试——合起来即"软件工程基准"）出自论文 SWE-bench: Can Language Models Resolve Real-World GitHub Issues?（全称即论文标题），是 2023 年 Princeton 提出的"用真实 GitHub issue 测代码 LLM 能力"的 benchmark，2024 年发表在 ICLR（International Conference on Learning Representations，深度学习领域顶级会议）。

@inproceedings{jimenez2024swebench,
  title={SWE-bench: Can Language Models Resolve Real-World GitHub Issues?},
  author={Jimenez, Carlos E and Yang, John and Wettig, Alexander and Yao, Shunyu and Pei, Kexin and Press, Ofir and Narasimhan, Karthir},
  booktitle={ICLR},
  year={2024}
}

§ 2 核心问题：Can LMs Resolve Real-World GitHub Issues?

论文的标题就是核心问题：大语言模型能不能解决真实 GitHub issue？

• 任务侧：从 12 个 popular Python 仓库拉 issue + 对应 fix PR（Pull Request，GitHub 上"请你合并我的修复"的请求），把每个 issue 包成一条 benchmark 任务
• 评测侧：跑 fix 前后的 test 套件，定义"resolve"的判定标准
• 输入：issue 文本（problem_statement） + 仓库 base_commit 状态
• 输出：一个 git diff（model_patch）
• 裁决：F2P 全部 pass ∧ P2P 全部 pass → resolved

§ 3 数据规模：2,294 instances × 12 Python 仓库

§ 4 任务定义：given issue + code → generate patch

单条 SWE-bench 任务（也叫 instance）抽象成 4 个东西：

输入：
  - problem_statement:  "When I use the new admin ... the form doesn't validate ..."
  - base_commit:        "abc123..." （仓库在 issue 时刻的状态）

期望输出（agent 给出）：
  - model_patch:         "diff --git a/django/contrib/admin/.../forms.py ..."

裁决机制：
  - 拉 base_commit → 应用 model_patch → 跑 test_patch 的测试
  - F2P = (apply_patch 前 fail) ∧ (apply_patch 后 pass)
  - P2P = (前后都 pass)
  - resolve = ∀F2P pass ∧ ∀P2P still pass

§ 5 评估机制：F2P + P2P 双向验证

SWE-bench 的评测核心是F2P / P2P 双向验证——把"修 bug 还不破其他东西"变成可机械判定的两类测试。

fix_applied = False
test_result_before = run_tests(repo_state, fix_applied)
# 记录每个测试的状态：pre[test_id] = pass / fail

fix_applied = True
test_result_after = run_tests(repo_state + model_patch, fix_applied)
# 记录每个测试的状态：post[test_id] = pass / fail

F2P = {test_id | pre[test_id] = fail ∧ post[test_id] = pass}
P2P = {test_id | pre[test_id] = pass ∧ post[test_id] = pass}

resolve(test) = (test ∈ F2P)           # 该测试在修复后真的通过了
resolve(instance) = (∀F2P 都 pass) ∧ (∀P2P 都 still pass)

%Resolved = count(instances where ∀F2P pass ∧ ∀P2P pass) / count(instances) * 100%

§ 6 SWE-bench 家族 6 个变体对比

SWE-bench 原始版（2,294 题）发布后，社区陆续推出各种切片 / 扩展，形成"评测家族"。下表对比 6 个常见变体。

§ 7 与其他代码 benchmark 的关键差异

SWE-bench 不是第一个代码 benchmark，但它一举奠定了"agent 评测"的范式——和 HumanEval / MBPP 相比，差异巨大。

§ 8 在 agentsoft-research-platform 中的位置

SWE-bench 是本仓的评测对象——所有工具（orchestrator、agent_runtime、answer_evaluator）都围绕它构建。理解 SWE-bench = 理解本仓在做什么。

引用与配套资料