因为评判成本太高，你只用 1% 的样本来基准测试 AI 评审员。这正是问题的根源。

📌 One-Sentence Summary 作者认为，AI 代码评审评估中对单一精确率指标的依赖和极小样本量的使用，是由 LLM-as-a-judge 的高成本和不一致性导致的结构性失效，而解决方案是采用廉价、强类型且独立的决策模型。 📝 Summary 本文批判了当前 AI 评审员评估的现状，指出大多数工具报告高精确率却忽略召回率，因为衡量后者需要昂贵且大规模的基准真相验证。作者识别出一个「结构性 Bug」：由于前沿 LLM 作为每个追踪记录的评判者过于昂贵且缓慢，团队会对数据进行抽样（通常仅 1%），导致离线指标与生产环境行为之间出现脱节。作者以工具 「jevals」 为例，建议将生成式 LLM 评判者替换为廉价、强类型的决策模型，从而实现 100% 的追踪评估和确定性的门控。此外，作者警告了「相关评判者问题」，即来自同一血统的模型互相评判，实际上创建了一个回音壁而非独立验证。文章最后敦促团队要求召回率指标以及跨血统的独立验证，以避免陷入「模型给自己批改作业」的陷阱。 💡 Main Points 高昂的评判成本导致危险的抽样行为 由于前沿 LLM 昂贵且缓慢，团队仅评估极小比例（如 1%）的流量。这导致了生产环境的行为无法在离线指标中得到准确反映，且无法实现实时门控。 「精确率陷阱」是成本问题的症状 精确率易于衡量，因为只需查看工具标记的内容。而召回率衡量困难且昂贵，因为它需要所有现有问题的标注基准真相，使其成为一种经常被省略的「奢侈」指标。 相关评判者问题 使用同一家族的模型同时生成和评判代码会导致共同偏见。对多个相似 LLM 取平均值并不能提供第二意见，而只是多次测量同一种信念。 转向廉价、强类型的决策模型 将生成式推理（段落文本）替换为强类型的「是/否」决策，可显著降低延迟和成本，从而实现 100% 的覆盖率，并在离线指标、生产监控和环路门控中使用统一的评分标准。 💬 Key Quotes 「一个在相同输入下多次运行会改变裁决结果的评判者不是测试套件，而是噪音。」 「仅关注精确率的分数是所有人评估代码评审工具时结构性问题的一个症状，这与模型本身几乎无关，而与评判者的成本完全相关。」 「如果产生建议的模型同时也是对其评分的评判者，那么你得到的只是一个模型的意见被测量了 N 次，而不是一个独立的裁决。」 「其余的情况则是一个模型在它自己挑选的样本上给自己批改作业。」 📊 Article Meta AI Screening： 86 Source： DEV Community: machinelearning Author： Cole Halton Category： 人工智能 Language： 英文 Read Time： 5 min Word Count： 1109 Tags： AI 与智能应用 , AI 工程 , 代码质量 , 测试与质量 , LLM 推理优化 Read Full Article