大语言模型可验证推理的进展

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-041035 阅读💛 79 收藏
大语言模型可验证推理的进展

📌 One-Sentence Summary

Anthropic 推出开源系统 FlashProve,利用 zkSNARK 加密证明验证 AI 模型的响应是否由特定的已承诺权重生成,以应对 AI 部署、监管和安全领域的信任挑战。

📝 Summary

本文介绍了 FlashProve,这是一款用于可验证推理的开源原型系统,利用 zkSNARK 加密证明验证 AI 模型的响应。用户可以借助该系统确认响应来自特定模型,同时无需获知专有权重。FlashProve 有助于建立对 AI 应用的信任,适用范围从消费产品到法规合规。系统分为两个阶段:离线阶段由模型提供方发布权重承诺;在线阶段则针对每个推理请求生成证明。对于一个拥有 400B 参数的 Llama 4 Maverick 模型,单张 H100 GPU 每秒可生成超过 100 tokens 的证明,每个 1,024-token 请求的证明大小约为 19 MB。该方法应对了四项关键的信任挑战:AI 节奏监管、篡改检测、文本来源验证和模型审批执行。与基于硬件的可信执行环境不同,这种纯软件加密方案依赖计算困难性假设,并提供零知识保证,在保护模型隐私的同时实现验证。

💡 Main Points

FlashProve 利用 zkSNARK 加密证明,验证 AI 模型的响应是否由特定的已承诺权重生成,同时不泄露专有信息。

计算资源有限的用户可以检查简短的证明文件,确认响应来自所声称的模型。零知识特性确保验证者无法获知权重;简洁性则使验证过程可在 CPU 上数秒内完成,无需耗费大量资源重新运行模型。

该系统应对 AI 部署中的四项关键挑战:节奏监管、篡改检测、文本来源验证和模型审批执行。

监管机构可以验证硬件是否用于推理而非训练,发现提供恶意响应的服务器是否遭到入侵,核实有关模型用于安全扫描的说法,并确保面向用户提供的只有经过批准的安全模型。

FlashProve 在 400B 参数模型上实现了实用性能,每秒可生成超过 100 tokens 的证明,每个 1,024-token 请求的证明大小约为 19 MB。

其 GPU 耗时约为通过 vLLM 运行模型本身的 70-95x,因此可行的可验证推理有望用于真实场景部署。每次模型承诺的离线阶段耗时 39 minutes,在需要重新承诺前约可处理 16 million 个请求。

该方案仅依赖软件,可与可信硬件方案互补;它依靠计算困难性,而非硬件安全假设。

与依赖硬件制造商提供防篡改硬件的可信执行环境不同,即使操作系统或硬件遭到入侵,FlashProve 的加密方案仍能保持安全,因此更能抵御复杂攻击。

💬 Key Quotes

「当你与朋友面对面交谈时,有很多办法确认对方确实是本人:你能看见他们、听见他们,还能与他们握手。而当你与 AI 模型交谈时,几乎没有任何这样的办法。」

「证明文件体积小、验证成本低(简洁性)。被证明的计算是在一张 H100 GPU 上运行一个 400B 参数模型,而验证者收到的证明文件约为 19 MB,可在 24-core CPU 上数秒内完成验证。」

「可验证推理(PI)的目标,是让计算资源有限且不了解权重的用户,能够验证响应确实来自所请求的模型。」

「证明文件无法伪造(可靠性)。要为虚假陈述生成有效证明,实际上是不可能的,因此验证者无需信任证明者。」

📊 Article Meta

AI Screening: 88

Source: Anthropic Research

Author: Anthropic

Category: 人工智能

Language: 英文

Read Time: 18 min

Word Count: 4494

Tags:

AI 与智能应用 , AI 安全与对齐 , 密码学 , 模型训练与推理 , AI Agent

#AI 与智能应用# AI 安全与对齐# 密码学# 模型训练与推理# AI Agent

文章评论(12)

墨沐雨11 天前

不错不错,已加入书签。

回复
逐光而行12 天前

楼主辛苦了,内容很有参考价值。

回复
月归舟12 天前

不错不错,已加入书签。

回复
南山客11 天前

这篇文章分析得很透彻,收藏了!

回复
白向阳11 天前

赞同,实践出真知。

回复
空向阳11 天前

看完了,收获满满,期待更多更新。

回复
一个橘子11 天前

收藏了,以后慢慢研究。

回复
蓝归舟11 天前

赞同,实践出真知。

回复
松听风11 天前

这个观点很中肯,深有同感。

回复
星知秋11 天前

内容翔实,正好需要,先收藏再看。

回复
星知秋11 天前

点赞,必须点赞

回复
雪知秋11 天前

收藏了,以后慢慢研究。

回复