Copilot 4 次都建议批准一个账单修复,却没发现缺陷就在一次函数调用之外

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-101317 阅读💛 22 收藏
Copilot 4 次都建议批准一个账单修复,却没发现缺陷就在一次函数调用之外

📌 One-Sentence Summary

本文研究 Copilot 等 AI 代码审查工具在检测变更代码中的缺陷,以及检测变更所依赖的未修改代码中的缺陷时表现如何;研究发现,书面规则能提升对差异代码中缺陷的检测能力,却无法发现被调用函数中的问题,凸显了 AI 辅助代码审查中持续存在的「上下文鸿沟」。

📝 Summary

本文介绍了一项针对 AI 代码审查智能体的实证研究,重点评估 GitHub Copilot 检测拉取请求中缺陷的能力。作者在一个合成账单服务和一个 pandas 特征流水线的拉取请求中植入了 10 个缺陷,并测试 Copilot 在有无书面业务规则时的检测率。其中 8 个缺陷位于变更代码中:没有规则时,Copilot 找出了 5 个;提供规则后,则找出了全部 8 个。另外 2 个缺陷位于变更所依赖的未修改代码中,无论是否提供规则,Copilot 都没有发现。研究表明,AI 审查工具擅长发现局部错误,却难以跨越「上下文鸿沟」——也就是未明确纳入审查的被调用函数中的缺陷。作者认为,书面规则能帮助 AI 发现差异代码中的缺陷,却无法取代用于落实不变量的测试;因此建议将严格的业务规则转化为自动化测试,确保每次构建都会验证这些规则。

💡 Main Points

Copilot 等 AI 代码审查工具擅长发现变更代码中的缺陷,却会漏掉变更所依赖的未修改代码中的问题。

在一项植入 10 个缺陷的对照实验中,提供书面业务规则后,Copilot 找出了差异代码中的全部 8 个缺陷;但无论是否提供规则,它都漏掉了未修改代码中的 2 个缺陷。这表明它在理解当前变更之外的上下文方面存在根本局限。

书面业务规则能显著提升 AI 发现差异代码中缺陷的能力。

没有规则时,Copilot 通过推断代码模式找出了 8 个差异代码缺陷中的 5 个;提供规则后,它则通过明确参照「间隔期间的天数永远不能计费」等业务逻辑找出了全部 8 个。这说明,将领域知识明确写下来对全面审查至关重要。

「上下文鸿沟」是指现有信息与判断系统安全所需信息之间的差距;当业务规则只存在于人的知识中时,AI 无法弥合这一鸿沟。

一项变更可能符合审查代码本身的逻辑,却违反了 Confluence 中的业务规则、生产事故中暴露出的行为,或领域团队掌握的知识。AI 无法可靠地推断未写明的规则,因此上下文鸿沟始终是自动化审查系统面临的挑战。

自动化测试是落实不可破坏不变量的唯一可靠方式,例如确保可计费天数不包含未注册日期。

作者指出,如果编写一项测试,将 get_enrollment_days 与各期间长度之和进行比较,就能在代码审查前发现间隔天数缺陷。测试可在每次构建时验证不变量,无需人工或 AI 介入。

AI 审查结果看起来无懈可击时,人类审查者可能只浏览被标记的问题,反而减少全面检查,产生虚假的安全感。

关于自动化偏误的研究显示,当 AI 给出一份看似干净的审查结果时,人类审查者往往只关注被标记的问题,并漏掉其他问题。这可能削弱原本应由人工审查提供的安全保障。

💬 Key Quotes

「一项变更可能符合智能体检查过的代码,却仍然违反 Confluence 中的业务规则、另一个服务的行为、以往的生产事故,或只有领域团队才知道的信息。」

「我把这称为上下文鸿沟。它指的是审查者能够获取的信息,与审查者判断一项变更能否安全合并所需的信息之间的差距。」

「把规则写下来还不够。审查者只判断眼前的代码行,并默认底层代码是可信的。」

「如果某条规则绝不能被违反,例如可计费天数绝不能包含未注册日期,就应将其写成自动化测试。」

「能力更强的模型可以借助更多代码和文档缩小这道鸿沟。但如果决定性信息从未被写下来,它就无法弥合鸿沟。」

📊 Article Meta

AI Screening: 85

Source: Towards Data Science

Author: Naga Chand Putta

Category: 人工智能

Language: 英文

Read Time: 16 min

Word Count: 3761

Tags:

AI 与智能应用 , 测试与质量 , 代码质量 , AI Agent , 提示工程

#AI 与智能应用# 测试与质量# 代码质量# AI Agent# 提示工程

文章评论(12)

山问津5 天前

很有价值的分享,感谢整理。

回复
暮临风5 天前

很有价值的分享,感谢整理。

回复
空向阳5 天前

这个观点很中肯,深有同感。

回复
星寻梦5 天前

作者写得真不错,学到了不少。

回复
逐光而行5 天前

刚好最近在找这方面的资料,太及时了。

回复
杨丽华5 天前

讲解得很细致,新手也能看懂。

回复
星知秋5 天前

思路清晰,干货满满。

回复
山问津5 天前

作者写得真不错,学到了不少。

回复
山问津5 天前

赞同,实践出真知。

回复
蓝临风5 天前

这篇文章分析得很透彻,收藏了!

回复
青柠微凉5 天前

收藏了,以后慢慢研究。

回复
蓝归舟5 天前

不错不错,已加入书签。

回复