AI 会写函数之后,怎样检验它能否修好一个仓库?

把一句需求变成几十行可运行代码,已经是一项可测量的能力;接手别人维护多年的项目,则会遇到另一组问题。错误可能在多个文件之间传播,接口行为未必全部写进文档,测试环境还依赖特定版本。用户说“这里的结果不对”,并没有同时告诉模型应该打开哪个文件。

SWE-bench 把评价单位从孤立函数扩展到真实仓库中的问题修复。它让模型面对问题描述和修复前的代码,提交补丁,再用测试检查结果。这个变化让“代码看起来合理”和“在既定项目中解决问题”之间的距离变得可观察,也迫使评价者解释什么才算一次成功。

等距像素画中的程序员桌面、多个代码窗口和测试状态
AI 生成配图 · 等距像素艺术 · 未完纪

一道修复题是怎样从历史记录中形成的

ICLR 2024 论文介绍的原始 SWE-bench 包含 12 个 Python 项目的 2294 个任务,材料来自公开问题以及对应的合并请求。每个任务需要确定修复前的仓库版本、问题描述、真实修复涉及的变化,以及用于评价的测试。研究者把项目历史转化为可以重复执行的实例,而非只留下自然语言题目。SWE-bench 论文

这类任务天然带有上下文。相同函数名在不同项目里可能有不同约定,一个参数的默认值也可能影响其他模块。模型需要理解的并非仓库里的所有代码,而是与当前问题相关的那一部分,以及修改必须守住的边界。能否找到这部分内容,本身就是能力的一部分。

历史合并请求提供一个参考修复,却不意味着所有正确答案都必须逐字符复制它。不同补丁可能实现同样行为。因此,评价主要看测试与修复结果,而不能只比较生成代码和参考代码的文本相似度。不过,测试也只是有限规范,参考修复与人工审阅仍有助于理解某个通过补丁是否符合项目长期设计。

从失败变通过,还要保住已经通过的行为

修复任务至少有两种需要区分的测试:原先失败、修复后应通过的测试,以及原先通过、修改后仍应通过的测试。前者回答问题是否得到解决,后者寻找回归。只看新增测试,可能漏掉补丁破坏了别处;只看原有测试,则可能根本没有覆盖用户报告的问题。

可以用一个无害的假设例子说明:某个表格导出函数在空输入时格式错误,模型修改后让空输入测试通过,却把非空输入的列顺序改变了。局部问题被修好,项目行为仍然退化。一个有意义的修复评价必须同时观察这两面,并保留测试命令、退出状态和完整日志。

环境失败也不能与修复失败混为一谈。依赖安装失败、测试收集错误、测试运行超时和断言不通过,属于不同层次的问题。若环境没有成功建立,评价者应说明该实例怎样计入总体结果,而不是悄悄删除难以运行的任务。可重复环境和明确计分规则,是把一次演示变成基准的重要条件。

打开 HTML 互动演示 · 一份补丁需要同时通过哪两类测试?

找文件、读上下文和运行程序都需要预算

一种设置直接提供相关文件,另一种设置要求系统自己搜索整个仓库,两者难度明显不同。直接给文件能够更集中地测量修改能力,但它绕过了定位;让系统检索则同时考察搜索策略、上下文选择和代码理解。两种设置都可以有价值,前提是分数旁边写清楚条件。

上下文也不是装得越多越好。把大量不相关文件塞进输入,可能挤掉关键实现,增加费用,并使模型难以跟踪当前版本。一个实用的过程通常需要先从错误信息、接口和测试定位入口,再逐步读取相关模块。评价这种过程,可以看系统是否找到了真正相关区域,以及它在哪里因为理解不完整而走偏。

SWE-agent 的 2024 年研究把注意力进一步放到模型与计算机之间的交互界面:浏览文件、编辑代码和执行程序的方式,会影响代理最终完成软件任务的能力。这提醒我们,系统表现不能只归结为模型参数;工具接口、反馈清晰度和允许的操作步骤同样是实验条件。SWE-agent 2024 年第一版

一次成功率与多次尝试,不能共用一个口径

如果模型可以生成许多候选补丁,总有一份通过测试的概率会升高。HumanEval 的早期代码模型研究已把重复采样和功能正确性评价联系起来,说明尝试次数会显著改变测得的能力。仓库修复同样需要报告生成多少候选、允许多少次交互,以及最终选择补丁时掌握了什么信息。代码模型评价论文

以下是纯假设计算:若每次独立尝试成功率都是 10%,十次至少成功一次的概率为一减去 0.9 的十次方,约 65%。实际补丁尝试往往高度相关,不能直接套用独立公式。这个例子只是说明,一个系统尝试一次与另一个系统尝试十次,最后“有没有成功过”的比例不能当作同一种效率。

更细的报告应区分生成能力与选择能力。系统也许能在十个候选里写出一个正确补丁,却无法辨认它;若评价者用隐藏测试替它挑中,得到的只是理想选择条件下的上界。真实流程中,系统必须依靠可见测试、代码检查和自己的判断作选择,这部分也需要单独测量。

计算预算除了候选数量,还包括模型调用、输入输出长度、测试运行和环境重建。一个只报告成功率的排行榜,难以回答团队真正关心的“在可接受时间内能完成多少任务”。在同一预算下比较,或绘制预算与成功率的关系,通常比无限追加重试后挑最高值更有解释力。

测试通过之后,还剩哪些维护问题

测试不能穷尽所有合法输入,也不总能表达项目设计的意图。某个补丁可能只处理报告中的例子,没有覆盖同类边界;也可能引入重复实现,使后续修改更困难。通过基准意味着在规定检查下满足成功条件,不能直接换成“已达到无人维护水平”。

人工审阅可以围绕几个具体问题展开:修改是否定位在合理层次,是否保持公开接口约定,是否引入无必要依赖,是否对错误条件给出一致行为。补充测试应针对尚未被覆盖的行为,而非照着模型刚写的实现机械复制。维护者需要理解补丁的理由,才能在后续需求变化时安全修改它。

补丁大小也不宜单独奖惩。很小的修改可能准确命中根因,也可能只绕过一个例子;较大修改可能是必要重构,也可能扩大风险。把变更文件、行为差异和回归证据放在一起,比简单统计新增行数更接近工程判断。一个好的修复说明应让没有参与对话的人也能复现问题和核对结果。

公开仓库基准怎样面对时间与数据重叠

公开问题和合并请求可能进入模型训练语料,因此,研究必须认真讨论时间边界与数据重叠。模型是否在训练中见过相关修复,通常无法单凭一个正确补丁判断;看起来像参考答案,也可能来自正常推理。评价者需要记录模型训练信息的可用程度,并尽可能使用明确的时间切分或新增任务补充证据。

时间切分也有自己的代价。较新的任务可能依赖较新的库版本,环境可复现性更困难;较旧的任务容易运行,却可能更容易与训练数据重叠。两种偏差没有简单的一步解决办法。研究报告应该说明采取了哪些控制、仍有哪些未知,而非用“真实问题”四个字消除所有评价疑问。

基准代表性同样有限。原始 SWE-bench 集中在一组 Python 项目,其结果不能自动代表移动应用、嵌入式软件、其他语言或大型组织内部工程。任务范围、项目成熟度和测试文化都会影响难度。扩大覆盖面需要新的数据与环境工作,不能仅依据同一基准上的进步推断所有工程活动都已解决。

怎样把基准思路带回日常开发

即使不追求全自动修复,SWE-bench 仍提供一套有用的工作顺序:固定版本,复现问题,定位相关代码,提交有限修改,再检查修复与回归。每一步都留下可检查产物,便能判断失败究竟来自理解、定位、实现还是环境,而不是笼统说“模型不够聪明”。

团队可以用自己允许使用的历史任务建立小型内部评价,并在固定设置下比较无工具生成、检索辅助和可运行测试的交互系统。选择任务时应覆盖常见维护工作,也保留失败实例;如果只挑模型已经擅长的任务,内部基准也会成为演示集。维护者的审阅时间与返工成本,应和模型产出一起计入效果。

从会写函数到能修仓库,增加的是对上下文、证据与约束的连续管理。可信的系统不只给出一个补丁,还能清楚交代在哪个版本上做了什么、哪些检查已经通过、哪些结论仍需人判断。成功率因此才有机会转化为可依赖的开发能力。

参考资料

© 版权声明
THE END
喜欢就支持一下吧
点赞32