AI 编写的代码如何评分:测试说了算,而测试往往并不可靠

📌 One-Sentence Summary
本文探讨了 AI 代码评分如何依赖人工编写的测试套件,并揭示测试设计中普遍存在的问题,以及构建可靠基准所需的大量人工投入。
📝 Summary
文章详细介绍了 OpenAI 的 SWE-bench 评分系统如何运作:模型需要通过针对某个单一人工修复方案编写的测试,因此测试范围可能过窄或过宽,也容易出现误报或漏报。OpenAI 在 2024 年的一项研究发现,38.3% 的样本需求描述不充分,61.1% 的样本存在可能不公平地判定正确解决方案不合格的单元测试,而 68.3% 的样本被剔除。发现许多测试可以被钻空子后,OpenAI 停止公布 SWE-bench Verified 的成绩。SWE-Lancer 论文引入了端到端测试,但即使是表现最佳的模型也困难重重:Claude 3.5 Sonnet 在端到端任务上的得分仅为 21.1%,而在经理任务上的得分为 47.0%。文章还量化了创建测试所需的人工投入:对 2026 年 10 月发布的 289 条编程岗位招聘信息进行分析后发现,72% 涉及代码审查,48% 涉及编写测试,36% 涉及创建评测任务。文章指出,公开基准会泄漏到训练数据中,因此 OpenAI 正转向使用未受污染的评测。
💡 Main Points
针对单一修复方案编写的测试套件,可能会拒绝同样正确的其他解决方案。
OpenAI 2024 年的研究显示,61.1% 的单元测试可能会不公平地将正确修复判错;另有 68.3% 的样本因问题描述不充分而被剔除。
端到端测试能减少作弊,但模型仍难以应对。
SWE-Lancer 论文报告称,Claude 3.5 Sonnet 只解决了 21.1% 的端到端任务,而在经理选定的提案任务上得分为 47.0%。
创建测试需要大量且持续的人工投入。
对 2026 年 10 月的 289 条编程岗位招聘信息进行分析后发现,72% 涉及代码审查,48% 涉及编写测试,36% 涉及创建评测任务,凸显了这项工作需要持续投入。
公开基准会泄漏到训练数据中,促使评测转向未受污染的数据。
SWE-bench 基于公开代码仓库构建,因此相同代码也会出现在训练数据中。为此,OpenAI 正转向采用新的私有测试套件。
💬 Key Quotes
为某个修复方案编写的测试,可能无法通过另一个同样正确的修复方案。
另一种相反的失败情况是,测试套件放过了一个毫无修复效果的补丁。
同一篇文章还发现,它测试的每个前沿模型都能在某些任务中复现原始修复方案或问题细节的原文,因为相关代码仓库是公开的。
OpenAI 现在推荐使用 SWE-bench Pro。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: AITraining.jobs
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1420
Tags:
AI 与智能应用 , 测试与质量 , OpenAI , AI 评测与基准 , SWE-bench
路过
这个观点很中肯,深有同感。
收藏了,以后慢慢研究。
看完了,收获满满,期待更多更新。
收藏了,以后慢慢研究。
实测过类似工具,作者说的基本属实。
实话,说的不明不白
实话,说的不明不白
整理得太全面了,省了我不少时间。
整理得太全面了,省了我不少时间。
实测过类似工具,作者说的基本属实。
实话,说的不明不白