Anthropic 的 FlashProve:72x 开销和 1,024-token 上限对证明回答由哪个模型生成意味着什么
📌 One-Sentence Summary
Anthropic 的 FlashProve 是一个基于 zkSNARK 的开源系统,能够让服务提供商通过密码学方式证明回答来自特定模型;其证明吞吐量达到 110 tokens/秒,针对 1,024-token 请求生成的证明大小为 19MB,但会带来 72-95x 的 GPU 开销,且仅支持严格约束下的贪心解码。
📝 Summary
Anthropic 发布了 FlashProve,这是一个开源研究原型,采用零知识简洁论证(zkSNARK),让模型服务提供商能够证明某个特定回答由一组已承诺的模型权重生成,而无需泄露这些权重。与以往方案相比,该系统有了显著改进:证明吞吐量从每秒 0.02 tokens 提升至 110 tokens(提速 5,500x),证明大小从 93.6GB 缩减至 18.78MB(缩小 5,000x),而在 CPU 上的验证时间则从将近一天降至 17-21 秒。不过,生成证明所需的 GPU 时间是标准推理的 72-95 倍;按 H100 每小时 $1.50-$4.00 的价格计算,每百万 tokens 的成本为 $3.78-$10.08,而普通推理只需几美分,因此实际应用目前仅限于抽样审计,不适合用于生产部署。该系统目前只支持整数定点量化的混合专家模型进行贪心解码,上下文长度上限为 1,024 tokens;若没有额外的信任基础设施,它也无法将承诺与营销名称绑定。
💡 Main Points
FlashProve 相比以往可验证推理系统实现了显著的性能提升
该系统的证明吞吐量达到每秒 110 tokens(比此前的 0.02 tok/s 快 5,500x),证明大小从 93.6GB 缩减至 18.78MB(缩小 5,000x),并将 CPU 上的验证时间从将近一天缩短至 17-21 秒,使密码学模型验证切实可用于抽样审计。
生成证明会带来巨大的计算开销,限制了其在生产环境中的应用
生成证明所需的 GPU 时间是标准推理的 72-95 倍。按常见的 H100 租用价格计算,每百万 tokens 的成本为 $3.78-$10.08,而普通推理只需几美分,因此在经济上仅适合随机抽查请求,而不适合为每轮对话都生成证明。
该系统对模型类型和解码方式有显著的技术限制
FlashProve 仅支持贪心解码(不支持基于温度的采样),要求模型为整数定点量化的混合专家模型,上下文总长度限制为 1,024 tokens;此外,它证明的是整数模型,而不是生产环境中的浮点模型端点,因此适用范围仅限于特定审计场景。
密码学证明可将回答与模型权重绑定,但无法证明其对应的营销名称
虽然 FlashProve 能验证回答来自某个特定的已承诺模型,但若没有额外的信任基础设施,就无法证明该承诺对应某个特定产品名称,因为服务提供商理论上可以用不同的承诺,证明回答来自成本更低的模型。
💬 Key Quotes
本周,Anthropic 发布了 FlashProve(相关报道日期为 11 月 2 日至 3 日)。这是一个基于 Apache 2.0 协议开源的原型,能够让模型服务提供商证明某个特定回答由一组特定的已承诺权重生成,同时不泄露这些权重。
根据公布的数据,吞吐量差距约为 5,500x,证明大小差距约为 5,000x。
生成证明所需的 GPU 时间约为普通推理的 72 到 95 倍。
该证明针对的是采用贪心解码的整数模型,上下文长度上限为 1,024 tokens,生成证明所需的 GPU 时间约为普通推理的 72 到 95 倍。
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: ai maya
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1703
Tags:
AI 与智能应用 , AI 安全与对齐 , AI 工程 , AI Agent , 提示工程
思路清晰,干货满满。
实话,说的不明不白
这个比较实用,已转发给同事。
收藏了,以后慢慢研究。
路过
实测过类似工具,作者说的基本属实。
路过
很有价值的分享,感谢整理。
点赞,必须点赞
收藏了,以后慢慢研究。
赞同,实践出真知。
这个观点很中肯,深有同感。