LLM 让大规模形式化软件验证成为可能

📌 One-Sentence Summary
Anthropic 与 Theorem 的合作表明,LLM 如今能够自主为真实软件生成形式化证明,并成功验证了 123 个开源库的安全属性,同时发现此前未被检测到的漏洞。
📝 Summary
该项目表明,LLM 能够弥合理论上的形式化验证与实际软件开发之间的鸿沟。通过自动化证明编写流程,团队得以验证数百个模糊测试入口的内存安全等关键属性,并发现标准测试未能捕捉到的漏洞。这标志着形式化验证朝着成为软件开发生命周期标准环节迈出了重要一步。
💡 Main Points
LLM 能够自主为真实软件编写复杂的形式化证明。
这项实验成功使用 Claude,为 123 个 OSS-Fuzz 库中的 239 个入口证明了安全属性(例如保证程序不会崩溃)。这表明模型无需人工干预,就能处理将汇编代码转化为数学证明的复杂任务。
形式化验证有助于发现标准测试遗漏的漏洞。
在尝试证明的过程中,Claude 发现了几个现有模糊测试未能捕捉到的漏洞,包括计数器下溢,以及只有在特定且罕见的输入条件下才会出现的越界读取。这凸显了形式化验证与传统测试方法之间的互补性。
这种方法具备可扩展性,且成本效益高。
尽管证明篇幅很长(平均约 600,000 行),但它们完全自动生成,并且可由机器检查。唯一需要信任的部分是 RISC-V 和 Linux 的形式化模型;与整个代码库相比,这些模型规模小得多,也更容易审计,因此这种方案可扩展到大型软件项目的安全保障中。
💬 Key Quotes
据我们所知,这是首次大规模尝试在汇编代码层面利用 AI 对生产软件实施形式化验证。
我们要求 Claude 为 123 个开源库证明有实用价值的安全属性,包括证明其中一些可执行产物在特定条件下绝不会崩溃。
Claude 成功修复了发现的漏洞,随后证明:对于 123 个不同 OSS-Fuzz 库中的 239 个入口,任何输入(最大 64 MB)都不会导致崩溃。
📊 Article Meta
AI Screening: 90
Source: Anthropic Research
Author: Anthropic
Category: 人工智能
Language: 英文
Read Time: 15 min
Word Count: 3743
Tags:
AI 与智能应用 , 形式化验证 , AI 安全与对齐 , 开源项目 , 测试与质量
思路清晰,干货满满。
赞同,实践出真知。
很有价值的分享,感谢整理。
支持作者,持续关注中。
这个观点很中肯,深有同感。
这篇文章分析得很透彻,收藏了!
作者写得真不错,学到了不少。
写得挺用心的,支持一下。
很有价值的分享,感谢整理。
这篇文章分析得很透彻,收藏了!
刚好最近在找这方面的资料,太及时了。
整理得太全面了,省了我不少时间。