生产环境中 92% 的 Token 激增都伴随着其他预警信号

📌 One-Sentence Summary
对 100+ 个生产环境 AI 智能体的分析显示,质量、成本和延迟问题会最先出现并频繁复发,而错误既少见又往往滞后,这表明 AI 智能体的失效更多源于悄然漂移,而非显式错误。
📝 Summary
本文介绍了对数十家公司 100+ 个生产环境 AI 智能体进行为期七个月监控后得出的实证发现。数据显示,89% 的智能体触发了告警;质量和 Token 开销检查较早触发(中位数为 8 天),错误则最后触发(中位数为 42 天,只有 1% 的智能体将错误作为首个告警)。问题具有持续性:大多数告警会在多个日期重复出现,其中失控循环最为顽固,有 78% 会在 3 天或更长时间内出现。Token 激增有 92% 的情况与其他预警信号相关,最常见的是质量下降。这项研究揭示了治理方面的缺口:部署了安全检查的智能体不足 10%。研究结果表明,监控应优先关注质量、成本和延迟,而非错误率;同时,团队应重点关注工具调用,以检测循环。
💡 Main Points
AI 智能体出现故障时,质量和成本问题早于错误
接受质量评估的智能体中,83% 触发了告警(中位数为 8 天),而只有 1% 的智能体将错误作为首个告警。错误检查的触发中位数为 42 天,因此当智能体开始漂移时,错误是最后发生变化的信号。
智能体问题会持续存在,并在多天内反复出现
大多数告警(视检查类型而定,占 16-78%)会在 3 天或更长时间内出现,其中失控循环最为顽固,复发率达到 78%。这表明问题并非偶发事件,而是需要持续关注的长期问题。
Token 激增与其他预警信号高度相关
在 92% 的 Token 激增日,附近至少出现了一个其他预警信号,最常见的是质量告警(激增日占 58%,普通日占 19%)。这印证了漂移假设:成本、质量和速度会同步变化。
失控循环集中出现在工具调用和 SQL 调用中,但监控覆盖不足
72% 的循环告警涉及工具或 SQL 调用,但在启用延迟检查的智能体中,只有 18% 会测量单次工具调用的耗时;只有 8% 的智能体会将 Token 检查关联到特定工具,造成了监控盲区。
治理与安全监控覆盖率严重不足
部署了安全或策略检查(提示词注入、PII 泄漏、超范围请求)的智能体不足 10%,与质量和成本检查相比,监控覆盖存在重大缺口。
💬 Key Quotes
质量告警和 Token 告警各自都是 38% 的智能体最先触发的信号之一。
只有约 1% 的智能体将错误作为首个告警。
在 92% 的激增日,附近至少出现了一个其他预警信号。
72% 的循环告警涉及工具调用和 SQL 调用:智能体重复运行同一条查询、重试失败的工具,或反复规划同一个步骤。
安全和策略检查(提示词注入、PII 泄漏、超范围请求、策略违规)是覆盖最薄弱的一层,部署比例不足十分之一。
📊 Article Meta
AI Screening: 88
Source: Towards Data Science
Author: Barr Moses
Category: 人工智能
Language: 英文
Read Time: 12 min
Word Count: 2801
Tags:
AI 与智能应用 , 测试与质量 , 可观测性 , AI Agent , 模型评测与基准
写得挺用心的,支持一下。
内容翔实,正好需要,先收藏再看。
内容翔实,正好需要,先收藏再看。
这个观点很中肯,深有同感。
楼主辛苦了,内容很有参考价值。
赞同,实践出真知。
讲解得很细致,新手也能看懂。
整理得太全面了,省了我不少时间。
写得挺用心的,支持一下。
实话,说的不明不白
刚好最近在找这方面的资料,太及时了。
收藏了,以后慢慢研究。