我向 30 个 AI 模型展示了 336 个监控仪表板，它们大多数都无法识别时间

📌 One-Sentence Summary

作者对 30 个 AI 视觉模型解读 336 个合成监控图表的能力进行了测评，揭示了它们在时间推理和指标准确性方面的巨大差距。

📝 Summary

本文详细介绍了一项全面的基准测试，其中 30 个领先的 AI 模型（包括来自 Google、OpenAI 和 Anthropic 的模型）了 Grafana 风格的监控图表测试。测试评估了模型是否能够识别事件（平台期与阶梯式变化）、读取时间戳以及检测峰值。主要发现显示，尽管像 Gemini 3.7 Flash 等顶级模型在准确性和成本效益方面表现出色，但许多高端模型在基础视觉推理任务上均失败了，往往会产生数据幻觉或完全忽略标签。作者强调，在复杂的视觉数据分析中，价格并不一定与性能正相关。

💡 Main Points

视觉模型在图表的时间推理方面存在困困难。

许多模型无法正确区分「阶梯式变化」与「平台期」，或者错误识别部署事件发生的准确时间。

价格并不保证具备更好的图表读取能力。

Gemini 3.7 Flash 以远低于 Gemini 2.5 Pro 或 Claude Opus 等昂贵模型的成本，实现了最高的准确率（0.978）。

图像分辨率对模型性能有显著影响。

将分辨率从 75dpi 提高到 200dpi  提升了几乎所有模型的准确率，尽管 Google 的模型在两种分辨率下都保持了稳健性。

金丝雀字段（Canary fields）可以揭露那些“盲目”但表现自信的模型。

通过询问轴标签或标记数量等琐碎细节，作者识别出那些并没有真正处理图像，而是在生成通用或幻觉化回答的模型。

💬 Key Quotes

价格买不来图表读取能力。

当最强大的模型彼此达成一致却与你的意见相同时，请先检查你的 API 密钥。

如果你将一个模型接入轮班工具，在检查它是否聪明之前，先检查它是否能看清内容。

📊 Article Meta

AI Screening： 88

Source： DEV Community: machinelearning

Author： Uptime Architect

Category： 人工智能

Language： 英文

Read Time： 10 min

Word Count： 2442

Tags：

AI 与智能应用 , 机器学习 , 可观测性 , 大语言模型 (LLM) , 测试与质量