CWE-bench v2:覆盖面、质量与透明度进一步提升
📌 One-Sentence Summary
CWE-bench v2 是一个开放基准,包含 100 项任务,覆盖 91 种 CWE,用于评估 AI 智能体发现并修复安全漏洞的能力;它采用程序化评分,设有用于追踪进展的留出集,并集成 Harbor 框架以实现可复现评估。
📝 Summary
CWE-bench v2 是一个公开基准,旨在测试前沿 AI 在网络安全领域的能力,提供 100 项任务,涵盖 91 种不同的常见弱点枚举(CWE)类别。每项任务都会向智能体提供一个真实的开源代码仓库,并要求其找出并修复安全漏洞,同时不破坏现有功能。评估采用完全程序化的评分方式,确保结果确定且可复现。基准还保留了一组留出任务,用于追踪模型应对未见挑战的进展。每项任务都经过严格的质量检查,涵盖指令真实性、可验证性和修复正确性。评估结果会在 Hugging Face Hub 上追踪:开放权重模型通过 PR 自动更新,而仅提供 API 的模型则可通过专用 Space 进行评估。帕累托前沿分析显示,DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 在准确率与成本之间取得了较好的平衡,表现位居前列。
💡 Main Points
全面的安全基准
CWE-bench v2 包含 100 项任务,覆盖 91 种不同的 CWE,要求智能体理解多种漏洞攻击面,而不只是识别熟悉的模式。这种全面的方法反映了防御者必须预判所有可能攻击途径的现实需求。
程序化且可复现的评估
所有评分都完全通过程序进行,结果具有确定性,因此任何人都能以零额外成本复现评估。任务运行在兼容 Harbor 的 Docker 环境中,验证器检查的是行为是否正确,而不是修复方案是否采用特定结构。
质量保障与透明度
每项任务都经过严格验证,包括检查指令是否真实、确认验证器是否正确,以及对照已知的上游补丁进行测试,以防止模型依赖记忆已有解法。留出集则确保能够公平地追踪模型在未见任务上的进展。
排行榜与成本分析
评估结果会在 Hugging Face Hub 上追踪:开放权重模型通过 PR 更新,API 模型则通过专用 Space 更新。帕累托前沿分析显示,DeepSeek V4.1 Flash、Claude Opus 5.5 和 Gemini 4 Argon 在准确率与成本效益之间取得了较好的平衡,表现位居前列。
💬 Key Quotes
CWE-bench v2 开放了一个包含 100 项任务的公开集合,任何人都可以运行这些任务并评估自己的模型。
评分完全通过程序进行,因此结果具有确定性,任何人都能以零额外成本复现。
防御者必须预判攻击者可能采用的所有入侵方式,而且每次都要判断正确。
Gemini 4 Argon 以 67.8% 的 pass@1 和 81.0% 的 pass@4 领先,略高于 Claude Opus 5.5。
📊 Article Meta
AI Screening: 88
Source: Hugging Face - Blog
Author: Gonzalo Gonzalez, Ajay Jagannath, Nazneen Rajani, Nathan Habib
Category: 人工智能
Language: 英文
Read Time: 3 min
Word Count: 688
Tags:
AI 与智能应用 , 安全 , 开放权重模型 , 模型训练与推理 , AI Agent
点赞,必须点赞
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。
内容翔实,正好需要,先收藏再看。
刚好最近在找这方面的资料,太及时了。
看标题就点进来了,内容果然没让人失望。
这篇文章分析得很透彻,收藏了!
点赞,必须点赞
路过
收藏了,以后慢慢研究。
这篇文章分析得很透彻,收藏了!
路过