为超级智能承保：为你可以起诉的智能体背书 — Rune Kvist，AIUC

📌 One-Sentence Summary AIUC 联合创始人 Rune Kvist 解释了为何风险与责任——而非能力——如今才是 AI 落地的硬约束，以及 AIUC-1 标准加上 Lloyd's 式承保方的保险，如何让智能体变得可部署、可承保。 📝 Summary 在这场 Latent Space 访谈中，Rune Kvist——Anthropic 早期产品团队成员、现为 Artificial Intelligence Underwriting Company（AIUC）联合创始人——宣布了由 Ribbit Capital 和 First Harmonic 领投的 4000 万美元 A 轮融资，客户包括 Cursor、Harvey、Lovable 和 ElevenLabs。Kvist 回顾了自己从 2021 年底读到 Kaplan Scaling Laws 论文，到在 Anthropic 约 40 人规模时加入的历程，并指出公司早期对规模化、算力和部署风险的判断被证明惊人地正确。他以 Waymo 作为核心类比：自动驾驶汽车已经是超越人类的司机，但你仍然不能坐它去机场，因为硬约束是责任与信任，而非能力。AIUC 的答案是信心基础设施——AIUC-1，一套面向智能体安全、保障与可靠性的标准，并配套保险，让企业、银行、医院、政府和军方能够做出 go/no-go 决策。对话涵盖：智能体如何针对越狱、幻觉和数据泄露进行压力测试；为什么大多数 AI 公司只优化顺利路径；为什么标准可能需要每季度更新；前沿实验室与政府之间的信任鸿沟；网络、儿童安全和生物风险；20 美元的 Cursor 订阅对比 2 亿美元的飞机失事；Air Canada 聊天机器人责任案；版权作为难以承保的风险；评估意识与机制可解释性；AI 工程师是否应该获得认证；以及为什么实验室永远不能充当自己的看门人。 💡 Main Points 风险、责任与信任——而非能力——如今才是 AI 落地的硬约束。 Kvist 认为，AIUC 在种子阶段提出的「风险会拖累采用」这一假设，已经从猜测变成了事实。Waymo 说明了这一差距：它已经是超越人类的司机，但你仍然不能坐它去机场，因为约束在于对系统会做什么、不会做什么做出承诺。随着模型变得更强、更自主，同样的问题只会更严重。 AIUC 正在通过标准加保险构建信心基础设施，其模式借鉴了历史上的技术浪潮。 Kvist 追溯了一条反复出现的蓝图：1900 年的电力、1930 年代的汽车、1950 年代的私营核能——标准定义道路规则和测试，而保险公司承担账单，并且最有动力去真实地量化并降低风险。AIUC 将这一模式应用于 AI，推出 AIUC-1，一套由真实保险背书的智能体安全、保障与可靠性标准。 前沿 AI 公司可以轻松卖出试点，却难以实现全面企业级部署。 Cursor、Sierra、ElevenLabs 和 Harvey 这样的客户可以通过演示进入银行试点，但全面部署需要通过风险流程。银行往往不知道该问哪些问题、哪些答案才算充分，也不知道如何测试智能体是否按预期工作。AIUC 的卖点是由独立第三方对照黄金标准进行测试，同时有保守的保险公司愿意把部分风险放到自己的资产负债表上。 Anthropic 早期对规模化定律和部署风险的判断被证明惊人地正确。 Kvist 描述了他在 2021 年底读到 Kaplan Scaling Laws 论文，意识到资本会理解可预测的回报，于是飞到旧金山寻找论文作者。在 Anthropic 早期约 40 人时，团队就已经有了面向 2026 年的愿景文档，涵盖算力需求、资本支出、社会关切和经济价值——事后看，这颗水晶球惊人地准确。 实验室永远无法完全充当自己的看门人，而标准存在逐底竞争的风险。 本期节目预告了 AIUC 在智能体、前沿模型、机器人和通用红队测试方面的路线图，并提出了谁来监督监督者的问题。Kvist 将 AGI 视为可能关乎国家主权的问题，并警告存在「大空头」问题：相互竞争的看门人可能会让标准竞相降低。 💬 Key Quotes 显然，随着 Mythos 和 Fable 的出现，时机就是现在。非常明显，采用方面的硬约束就是风险。 现在 Fable 不开放访问的原因，不是因为它不是一个好模型，而是因为它是一个非常好的模型。只是很难对它会做什么、不会做什么做出承诺。 Waymo 所说明的是，除非你建立信心基础设施，对 AI 做出承诺，或者至少把风险揭示出来，否则采用就会陷入停滞。 保险公司很重要，因为它们承担账单。所以它们是最站在这一边的私人机构。它们最有动力去真实地量化风险，然后找出所有降低风险的方法，因为这会增加它们的利润。 我们让独立第三方对照黄金标准对我们进行了测试。我们以优异成绩通过。作为信心的投票，世界上最保守的保险公司已经查看了数据。 📊 Article Meta AI Screening： 90 Source： Latent.Space Author： Latent.Space Category： 人工智能 Language： 英文 Read Time： 77 min Word Count： 19214 Tags： AI 与智能应用 , AI 安全与对齐 , AI 政策与监管 , 安全 , AI Agent Read Full Article