大语言模型可验证推理的进展

📌 One-Sentence Summary
Anthropic 推出开源系统 FlashProve,利用 zkSNARK 加密证明验证 AI 模型的响应是否由特定的已承诺权重生成,以应对 AI 部署、监管和安全领域的信任挑战。
📝 Summary
本文介绍了 FlashProve,这是一款用于可验证推理的开源原型系统,利用 zkSNARK 加密证明验证 AI 模型的响应。用户可以借助该系统确认响应来自特定模型,同时无需获知专有权重。FlashProve 有助于建立对 AI 应用的信任,适用范围从消费产品到法规合规。系统分为两个阶段:离线阶段由模型提供方发布权重承诺;在线阶段则针对每个推理请求生成证明。对于一个拥有 400B 参数的 Llama 4 Maverick 模型,单张 H100 GPU 每秒可生成超过 100 tokens 的证明,每个 1,024-token 请求的证明大小约为 19 MB。该方法应对了四项关键的信任挑战:AI 节奏监管、篡改检测、文本来源验证和模型审批执行。与基于硬件的可信执行环境不同,这种纯软件加密方案依赖计算困难性假设,并提供零知识保证,在保护模型隐私的同时实现验证。
💡 Main Points
FlashProve 利用 zkSNARK 加密证明,验证 AI 模型的响应是否由特定的已承诺权重生成,同时不泄露专有信息。
计算资源有限的用户可以检查简短的证明文件,确认响应来自所声称的模型。零知识特性确保验证者无法获知权重;简洁性则使验证过程可在 CPU 上数秒内完成,无需耗费大量资源重新运行模型。
该系统应对 AI 部署中的四项关键挑战:节奏监管、篡改检测、文本来源验证和模型审批执行。
监管机构可以验证硬件是否用于推理而非训练,发现提供恶意响应的服务器是否遭到入侵,核实有关模型用于安全扫描的说法,并确保面向用户提供的只有经过批准的安全模型。
FlashProve 在 400B 参数模型上实现了实用性能,每秒可生成超过 100 tokens 的证明,每个 1,024-token 请求的证明大小约为 19 MB。
其 GPU 耗时约为通过 vLLM 运行模型本身的 70-95x,因此可行的可验证推理有望用于真实场景部署。每次模型承诺的离线阶段耗时 39 minutes,在需要重新承诺前约可处理 16 million 个请求。
该方案仅依赖软件,可与可信硬件方案互补;它依靠计算困难性,而非硬件安全假设。
与依赖硬件制造商提供防篡改硬件的可信执行环境不同,即使操作系统或硬件遭到入侵,FlashProve 的加密方案仍能保持安全,因此更能抵御复杂攻击。
💬 Key Quotes
「当你与朋友面对面交谈时,有很多办法确认对方确实是本人:你能看见他们、听见他们,还能与他们握手。而当你与 AI 模型交谈时,几乎没有任何这样的办法。」
「证明文件体积小、验证成本低(简洁性)。被证明的计算是在一张 H100 GPU 上运行一个 400B 参数模型,而验证者收到的证明文件约为 19 MB,可在 24-core CPU 上数秒内完成验证。」
「可验证推理(PI)的目标,是让计算资源有限且不了解权重的用户,能够验证响应确实来自所请求的模型。」
「证明文件无法伪造(可靠性)。要为虚假陈述生成有效证明,实际上是不可能的,因此验证者无需信任证明者。」
📊 Article Meta
AI Screening: 88
Source: Anthropic Research
Author: Anthropic
Category: 人工智能
Language: 英文
Read Time: 18 min
Word Count: 4494
Tags:
AI 与智能应用 , AI 安全与对齐 , 密码学 , 模型训练与推理 , AI Agent
不错不错,已加入书签。
楼主辛苦了,内容很有参考价值。
不错不错,已加入书签。
这篇文章分析得很透彻,收藏了!
赞同,实践出真知。
看完了,收获满满,期待更多更新。
收藏了,以后慢慢研究。
赞同,实践出真知。
这个观点很中肯,深有同感。
内容翔实,正好需要,先收藏再看。
点赞,必须点赞
收藏了,以后慢慢研究。