19 MB 证明验证 400B 模型回复,成本高出 72x

清风徐来AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-05489 阅读💛 88 收藏
19 MB 证明验证 400B 模型回复,成本高出 72x

📌 One-Sentence Summary

本文审视了 Anthropic 的 FlashProve 系统:该系统生成 19 MB 的密码学证明,以验证回复由一个 400B 参数模型生成,而 GPU 成本是普通推理的 72x。

📝 Summary

本文探讨了 Anthropic 的 FlashProve 系统。该系统通过生成密码学证明,验证特定的 400B 参数模型生成了某条回复,同时不泄露模型权重。系统的处理速度为每秒 110 个 token,证明文件大小为 19 MB,GPU 开销是标准推理的 72x。作者审查了开源代码库和 Anthropic 的技术文章,发现 Lean 形式化证明占据了代码库的大部分内容(30,873 个文件中有 29,654 个)。FlashProve 相较于此前的证明系统实现了显著进步——速度快了 5,500x,证明文件小了 4,984x——但仍有明显局限:它只能在 1,024-token 上下文中使用贪心解码,无法验证答案是否正确,而且证明是在事后生成的,而非推理过程中同步生成。作者总结道,72x 的成本就是保障完整性的代价,并提出一个问题:除了受监管的评估场景,是否有人愿意支付这笔溢价?

💡 Main Points

FlashProve 生成 19 MB 的密码学证明,以验证 400B 模型生成了回复,同时不泄露模型权重

该系统的处理速度为每秒 110 个 token,GPU 开销是 72x。相比之下,此前的证明系统速度慢了 5,500x,证明文件也大了 4,984x,FlashProve 的表现实现了跨越式提升。

该证明系统存在明显的技术局限,无法包治百病、解决所有信任问题

它只能在 1,024-token 上下文中使用贪心解码,无法验证答案的正确性或安全性,而且证明是在事后生成的,而非推理过程中同步生成,因此证明会延迟提供。

代码库的主体是 Lean 形式化证明,而非模型代码

代码库共有 30,873 个文件,总计 716 MB,其中 29,654 个文件(450 MB)是 Lean 证明;证明器和验证器加起来不到 10 MB。这表明该项目主要属于密码学领域,同时包含机器学习组件。

由于批处理机制,验证耗时比单个请求的证明生成更长

证明生成阶段在 GPU 上每批处理 24 个请求,平均每个请求耗时 9.29 秒;验证阶段则在 CPU 上检查单个证明,需要 17 秒。因此,「易于验证」只是相对于运行完整模型而言,并不代表绝对耗时很短。

💬 Key Quotes

FlashProve 让可证明推理从「在前沿模型规模下不可能实现」变成了「成本高昂,但确实可行」

有效证明只能说明这些 token 是由承诺的模型生成的。它并不能说明这些 token 是否正确、安全或没有偏见。

成本本身就是关键——当你拒绝信任服务器时,保障完整性就要付出 72x 的代价

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: frank chu

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1078

Tags:

AI 与智能应用 , AI 安全与对齐 , 密码学 , 模型训练与推理 , AI 工程

#AI 与智能应用# AI 安全与对齐# 密码学# 模型训练与推理# AI 工程

文章评论(12)

雪知秋10 天前

这篇文章分析得很透彻,收藏了!

回复
风倚栏10 天前

刚好最近在找这方面的资料,太及时了。

回复
杨丽华10 天前

路过

回复
林拾贝10 天前

写得挺用心的,支持一下。

回复
空向阳10 天前

整理得太全面了,省了我不少时间。

回复
雪影10 天前

路过

回复
竹听风10 天前

这篇文章分析得很透彻,收藏了!

回复
石佳琪10 天前

看完了,收获满满,期待更多更新。

回复
曹浩10 天前

刚好最近在找这方面的资料,太及时了。

回复
晨沐雨10 天前

实话,说的不明不白

回复
星寻梦10 天前

很有价值的分享,感谢整理。

回复
石佳琪10 天前

讲解得很细致,新手也能看懂。

回复