当 AI 正确分类工单却算错总数时

📌 One-Sentence Summary

作者提出了「跨视角守恒」基准测试，用于检验 LLM 在处理不断增加的工作量时，能否在明细条目划分与聚合数值汇总之间保持严格的内部一致性。

📝 Summary

本文介绍了为 Kaggle 基准测试挑战赛打造的「跨视角守恒」（Cross-View Conservation）基准，旨在评估大语言模型在不借助外部工具的情况下，能否保持细粒度条目分类与聚合数值汇总之间的内部一致性。通过在 100、400 和 800 张合成客服工单的工作负载下对 6 款模型进行评估，该基准揭示了关键的失效模式：模型可以在对单项条目分类达到 100% 准确率的同时算错简单的加法，或者类别计数完全匹配却在严重程度总数上计算错误，甚至产生严重的 ID 重复从而彻底破坏划分逻辑。尽管 Claude Opus 5 通过了所有测试用例，但小型模型和 flash 模型随着规模的扩大表现出明显的吃力。

💡 Main Points

条目分类的准确性并不能保证聚合汇总的一致性

在多个验证用例中，像 GPT-5.6-luna 这样的模型在 100 张工单上达到了 100% 的分类准确率，但其汇总的严重程度总数却与自己生成的条目列表存在巨大偏差。

类别计数匹配往往会掩盖底层的求和错误

在 400 张工单的测试中，Gemini 3.7 Flash 在所有随机种子下都正确分类了记录并匹配了类别计数，但每一次都在严重程度总数的精确算术求和上失败了。

高负载下重复分配 ID 会导致严重的分区失效

在一次 800 张工单的运行中，GPT-5.4 mini 重复列出了 710 个工单 ID（总共生成了 1，857 条记录），打破了「每条记录严格归属于一个类别」的基本数学约束。

明确的失效分类有助于区分算术漂移、状态丢失和自主拒绝

标准的准确率基准测试往往将各类错误混为一谈，但区分自洽性、覆盖率、重复分配以及模型的明确拒绝，能够为实际落地提供更清晰的洞察。

💬 Key Quotes

最有趣的发现是，单项条目处理正确，并不保证最终的汇总数据能够对得上。

所需总数哪怕出现 1 个单位的不匹配，该用例就算失败。

自洽性并不等同于正确性。一份汇总数据完全可能与一份分类错误的列表保持一致。

有价值的下一步不仅是加入更多模型，而是理解哪些失效模式会在什么条件下反复出现，以及不同的生成策略是否能减少这些问题。

📊 Article Meta

AI Screening： 86

Source： DEV Community: machinelearning

Author： Pranav Kishan

Category： 人工智能

Language： 英文

Read Time： 7 min

Word Count： 1508

Tags：

AI 与智能应用 , 模型评测与基准 , 大语言模型 (LLM) , 领域驱动设计 , Kaggle