19 MB 证明验证 400B 模型回复,成本高出 72x

📌 One-Sentence Summary
本文审视了 Anthropic 的 FlashProve 系统:该系统生成 19 MB 的密码学证明,以验证回复由一个 400B 参数模型生成,而 GPU 成本是普通推理的 72x。
📝 Summary
本文探讨了 Anthropic 的 FlashProve 系统。该系统通过生成密码学证明,验证特定的 400B 参数模型生成了某条回复,同时不泄露模型权重。系统的处理速度为每秒 110 个 token,证明文件大小为 19 MB,GPU 开销是标准推理的 72x。作者审查了开源代码库和 Anthropic 的技术文章,发现 Lean 形式化证明占据了代码库的大部分内容(30,873 个文件中有 29,654 个)。FlashProve 相较于此前的证明系统实现了显著进步——速度快了 5,500x,证明文件小了 4,984x——但仍有明显局限:它只能在 1,024-token 上下文中使用贪心解码,无法验证答案是否正确,而且证明是在事后生成的,而非推理过程中同步生成。作者总结道,72x 的成本就是保障完整性的代价,并提出一个问题:除了受监管的评估场景,是否有人愿意支付这笔溢价?
💡 Main Points
FlashProve 生成 19 MB 的密码学证明,以验证 400B 模型生成了回复,同时不泄露模型权重
该系统的处理速度为每秒 110 个 token,GPU 开销是 72x。相比之下,此前的证明系统速度慢了 5,500x,证明文件也大了 4,984x,FlashProve 的表现实现了跨越式提升。
该证明系统存在明显的技术局限,无法包治百病、解决所有信任问题
它只能在 1,024-token 上下文中使用贪心解码,无法验证答案的正确性或安全性,而且证明是在事后生成的,而非推理过程中同步生成,因此证明会延迟提供。
代码库的主体是 Lean 形式化证明,而非模型代码
代码库共有 30,873 个文件,总计 716 MB,其中 29,654 个文件(450 MB)是 Lean 证明;证明器和验证器加起来不到 10 MB。这表明该项目主要属于密码学领域,同时包含机器学习组件。
由于批处理机制,验证耗时比单个请求的证明生成更长
证明生成阶段在 GPU 上每批处理 24 个请求,平均每个请求耗时 9.29 秒;验证阶段则在 CPU 上检查单个证明,需要 17 秒。因此,「易于验证」只是相对于运行完整模型而言,并不代表绝对耗时很短。
💬 Key Quotes
FlashProve 让可证明推理从「在前沿模型规模下不可能实现」变成了「成本高昂,但确实可行」
有效证明只能说明这些 token 是由承诺的模型生成的。它并不能说明这些 token 是否正确、安全或没有偏见。
成本本身就是关键——当你拒绝信任服务器时,保障完整性就要付出 72x 的代价
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: frank chu
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1078
Tags:
AI 与智能应用 , AI 安全与对齐 , 密码学 , 模型训练与推理 , AI 工程
这篇文章分析得很透彻,收藏了!
刚好最近在找这方面的资料,太及时了。
路过
写得挺用心的,支持一下。
整理得太全面了,省了我不少时间。
路过
这篇文章分析得很透彻,收藏了!
看完了,收获满满,期待更多更新。
刚好最近在找这方面的资料,太及时了。
实话,说的不明不白
很有价值的分享,感谢整理。
讲解得很细致,新手也能看懂。