生产环境中 92% 的 Token 激增都伴随着其他预警信号

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-15922 阅读💛 172 收藏
生产环境中 92% 的 Token 激增都伴随着其他预警信号

📌 One-Sentence Summary

对 100+ 个生产环境 AI 智能体的分析显示,质量、成本和延迟问题会最先出现并频繁复发,而错误既少见又往往滞后,这表明 AI 智能体的失效更多源于悄然漂移,而非显式错误。

📝 Summary

本文介绍了对数十家公司 100+ 个生产环境 AI 智能体进行为期七个月监控后得出的实证发现。数据显示,89% 的智能体触发了告警;质量和 Token 开销检查较早触发(中位数为 8 天),错误则最后触发(中位数为 42 天,只有 1% 的智能体将错误作为首个告警)。问题具有持续性:大多数告警会在多个日期重复出现,其中失控循环最为顽固,有 78% 会在 3 天或更长时间内出现。Token 激增有 92% 的情况与其他预警信号相关,最常见的是质量下降。这项研究揭示了治理方面的缺口:部署了安全检查的智能体不足 10%。研究结果表明,监控应优先关注质量、成本和延迟,而非错误率;同时,团队应重点关注工具调用,以检测循环。

💡 Main Points

AI 智能体出现故障时,质量和成本问题早于错误

接受质量评估的智能体中,83% 触发了告警(中位数为 8 天),而只有 1% 的智能体将错误作为首个告警。错误检查的触发中位数为 42 天,因此当智能体开始漂移时,错误是最后发生变化的信号。

智能体问题会持续存在,并在多天内反复出现

大多数告警(视检查类型而定,占 16-78%)会在 3 天或更长时间内出现,其中失控循环最为顽固,复发率达到 78%。这表明问题并非偶发事件,而是需要持续关注的长期问题。

Token 激增与其他预警信号高度相关

在 92% 的 Token 激增日,附近至少出现了一个其他预警信号,最常见的是质量告警(激增日占 58%,普通日占 19%)。这印证了漂移假设:成本、质量和速度会同步变化。

失控循环集中出现在工具调用和 SQL 调用中,但监控覆盖不足

72% 的循环告警涉及工具或 SQL 调用,但在启用延迟检查的智能体中,只有 18% 会测量单次工具调用的耗时;只有 8% 的智能体会将 Token 检查关联到特定工具,造成了监控盲区。

治理与安全监控覆盖率严重不足

部署了安全或策略检查(提示词注入、PII 泄漏、超范围请求)的智能体不足 10%,与质量和成本检查相比,监控覆盖存在重大缺口。

💬 Key Quotes

质量告警和 Token 告警各自都是 38% 的智能体最先触发的信号之一。

只有约 1% 的智能体将错误作为首个告警。

在 92% 的激增日,附近至少出现了一个其他预警信号。

72% 的循环告警涉及工具调用和 SQL 调用:智能体重复运行同一条查询、重试失败的工具,或反复规划同一个步骤。

安全和策略检查(提示词注入、PII 泄漏、超范围请求、策略违规)是覆盖最薄弱的一层,部署比例不足十分之一。

📊 Article Meta

AI Screening: 88

Source: Towards Data Science

Author: Barr Moses

Category: 人工智能

Language: 英文

Read Time: 12 min

Word Count: 2801

Tags:

AI 与智能应用 , 测试与质量 , 可观测性 , AI Agent , 模型评测与基准

#AI 与智能应用# 测试与质量# 可观测性# AI Agent# 模型评测与基准

文章评论(12)

邱文博1 天前

写得挺用心的,支持一下。

回复
蓝光1 天前

内容翔实,正好需要,先收藏再看。

回复
一叶知秋1 天前

内容翔实,正好需要,先收藏再看。

回复
逐光而行1 天前

这个观点很中肯,深有同感。

回复
杨丽华1 天前

楼主辛苦了,内容很有参考价值。

回复
一个橘子1 天前

赞同,实践出真知。

回复
雪影1 天前

讲解得很细致,新手也能看懂。

回复
山问津1 天前

整理得太全面了,省了我不少时间。

回复
龙文博1 天前

写得挺用心的,支持一下。

回复
竹听风1 天前

实话,说的不明不白

回复
雪知秋1 天前

刚好最近在找这方面的资料,太及时了。

回复
雪影1 天前

收藏了,以后慢慢研究。

回复