高级评估: 如何在产品中发现并修复隐藏的 AI 失败

📌 One-Sentence Summary 大多数 AI 团队会跳过错误发现并直接写入指标，但审查跟踪以找到值得测量的失败是最高效的步骤，编码代理可以自动化大部分工作，约 30 分钟。 📝 Summary 本文认为错误发现——审查跟踪以确定哪些 AI 失败值得测量——是构建评估的最重要和最常被跳过的阶段。基于与超过 50 家 AI 公司的工作，作者解释了团队为什么会选择写入指标，因为它感觉具体和可自动化，但这样做太早意味着测量的错误东西。他们引入了概念：标准偏移：你对好的产品体验的定义只有在审查真实例子后才会出现，例如租赁助手无法处理价格反对。他们报告了 100 个生产跟踪的研究，显示代理会错过需要产品判断的问题，很好地捕捉明显的失败，并将好的响应标记为失败。推荐的工作流程使用主动学习：从多样化的跟踪样本开始，审查每个失败的几个实例，然后让代理注释跟踪以接受或拒绝人类。该帖子走过了如何在应用中日志跟踪，通过维度生成合成查询（当真实数据不可用时），以及使用免费评估技能插件，该插件构建了自定义审查界面并将跟踪聚类为多样化的初始样本。 💡 Main Points 错误发现，而不是指标写入，是构建评估的最高效步骤。 大多数团队会跳过错误发现并直接写入指标，因为跟踪感觉慢，而指标是具体和可自动化的。但是，写入指标太早会固化对什么重要的假设，并且有风险测量错误的东西。作者认为，如果你只有一部分评估过程的时间，优先考虑错误发现。 标准偏移意味着你对好的产品体验的定义只有在审查数据后才会出现。 在 Nurturing Boss 租赁助手示例中，代理礼貌地接受了顾客的预算反对，而不是提供更便宜的单位或替代方案。对于代理来说，这看起来像成功，但产品目标是促进销售。你只有在看到跟踪本身时才知道添加 '反对处理' 到你的标准，所以人类审查必须在代理被分派之前。 代理和人类会捕捉不同的失败类型，所以该过程应该结合两者。 100 个生产跟踪的研究发现，代理会错过需要产品判断和跟踪外部上下文的问题（如 Markdown 格式化在文本消息中或错过人类手动），很好地捕捉明显的失败，并且也会发现人类错过的问题，但会引入噪音并将好的响应标记为失败。 主动学习提供了采样策略：多样化样本首先，然后代理注释与人类接受或拒绝。 从多样化的跟踪样本开始，以覆盖你的数据的范围。当你发现一个失败时，审查几个实例，然后决定你理解它。然后，让代理注释跟踪以接受或拒绝人类。这项书 keeping 手动很难，但很适合编码代理。 编码代理加上评估技能插件可以自动化错误发现的机械部分。 插件会读取你的跟踪架构，构建自定义本地审查应用（渲染对话，工具调用和元数据适当地呈现数据类型），将跟踪聚类为多样化的初始样本，并让你在飞行中改变界面。整个工作流程大约需要 30 分钟才能学习基础知识。 💬 Key Quotes 我们相信错误发现是如此重要，如果你只有一部分评估过程的时间，你应该优先考虑它。 这就是为什么错误发现是评估的产品发现等价物。就像产品发现会显示哪些问题值得解决一样，错误发现会揭示哪些 AI 失败值得测量。 代理会错过需要产品判断和跟踪外部上下文的问题，例如 Markdown 格式化在文本消息中或错过人类手动（除外反对处理）。 我们建议获取真实用户，而不是依赖合成数据。 📊 Article Meta AI Screening： 90 Featured： Yes Source： Lenny's Newsletter Author： Hamel Husain, Shreya Shankar Category： 人工智能 Language： 英文 Read Time： 13 min Word Count： 3162 Tags： AI 与智能应用 , AI 工作流 , 产品管理 , 提示工程 , 写作与表达 Read Full Article