Berkeley RDI 发布 CyberBinGym 基准,测试 AI 智能体能否仅凭二进制补丁写出真实漏洞利用

📌 One-Sentence Summary
加州大学伯克利分校等机构发布 CyberBinGym 基准,评估 AI 智能体在没有源码、漏洞描述或触发输入的 1-day 场景下,能否仅凭去符号化的漏洞版本与补丁版本二进制文件还原并利用真实漏洞。该基准包含来自 53 个开源项目的 100 个任务。
📝 Summary
CyberBinGym 包含 100 个源自 53 个开源项目真实漏洞的任务。智能体会获得去符号化的漏洞版本与补丁版本二进制文件、运行时依赖、分析工具,以及对受控受害服务的访问权限;但不会获得源码、源码补丁、漏洞描述或参考 PoC。在评估过的配置中,表现最强的是 Codex 搭配 GPT-5.6:它在 88% 的任务中还原出目标漏洞,并在 20% 的任务中完成经审计的漏洞利用。Claude Code 搭配 Claude Opus 5 的漏洞还原率为 85%、利用率为 6%;Kimi Code 搭配 Kimi K3 的还原率为 64%,但没有成功利用任何漏洞。在匹配的 20 个任务子集上,提供修补后的二进制文件使 Codex 的利用成功率从 10% 提高到 25%。对其成功利用的 20 个目标采用标准二进制加固后重新构建,再进行测试时,成功利用的任务降至两个。这些结果表明,智能体能够在受控环境中利用编译后的补丁开发出可用的漏洞利用,同时也揭示了从发现漏洞到造成实际安全后果之间仍存在巨大鸿沟。
💡 Main Points
仅凭二进制文件利用漏洞,在某些真实漏洞上已触手可及。
智能体必须依靠还原出的程序结构和执行反馈开展工作。表现最强的配置即使没有漏洞描述或崩溃输入,也能成功利用漏洞。
崩溃只是故事的一部分。
漏洞还原率为 64--88%,利用成功率却只有 0--20%。即便智能体已找到触发漏洞的输入,要理解攻击者能借此控制什么,仍是一大挑战。
编译后的补丁能提供有用信息。
在匹配的任务子集上,提供修复版本使漏洞还原率从 55% 提高到 90%,利用率从 10% 提高到 25%。经审计的操作轨迹显示,补丁信息可以直接指向被利用的缺陷,也能帮助智能体调整搜索方向。
加固大幅降低了观测到的成功率。
在主实验中 Codex 成功利用的 20 个任务里,后续加固测试中仅有两个漏洞利用仍然有效。这一发现支持分层防御的思路,但这些能力如何迁移到生产系统仍是未解问题。
💬 Key Quotes
「如果 AI 智能体能把这套工作自动化,攻防天平就可能向攻击者倾斜。」
「把这些信息转化为可用的漏洞利用,传统上需要大量逆向工程专业知识和相当多的人工投入;往往还要花数天甚至数周分析,才能定位漏洞并开发出可用的利用。」
「在匹配的 20 个任务子集上,提供修补后的二进制文件使 Codex 的利用成功率从 10% 提高到 25%。」
「在主实验中 Codex 成功利用的 20 个目标里,后续加固测试中仅有两个漏洞利用仍然有效。」
📊 Article Meta
AI Screening: 85
Source: AIHOT — 精选
Author: noreply@aihot.news (Berkeley RDI:Blog)
Category: 人工智能
Language: 英文
Read Time: 21 min
Word Count: 5087
Tags:
AI 与智能应用 , 安全 , AI Agent , 测试与质量 , 科技新闻
整理得太全面了,省了我不少时间。
写得挺用心的,支持一下。
这篇文章分析得很透彻,收藏了!
作者写得真不错,学到了不少。
实测过类似工具,作者说的基本属实。
这篇文章分析得很透彻,收藏了!
整理得太全面了,省了我不少时间。
赞同,实践出真知。
收藏了,以后慢慢研究。
不错不错,已加入书签。
有没有更详细的教程,期待后续。
实测过类似工具,作者说的基本属实。