LLM 审查器的“阻止”是功能，不是判决

📌 One-Sentence Summary 本文认为，AI 代码审查工具输出的二元“阻止”或“批准”标签并不可靠，因为它们基于底层模型未校准的置信度分数。作者建议将这些标签视为原始数据点进行统计分析，以便更细致地理解工具性能并设置适当的行动阈值。 📝 Summary 该文探讨了当前 AI 代码审查系统的局限性，这些系统依赖于硬标签（如“阻止”或“批准”），而这些标签并不能准确反映发现正确的概率。作者解释，由于 LLM 不是作为分类器训练的，其置信度分数不可信。为了解决这个问题，文章提出了一种“包装”判决的方法，即对工具的输出数据进行逻辑回归拟合，从而实现校准的概率估计，并优化分诊流程。 💡 Main Points 不可靠的置信度分数 当前一代的 AI 代码审查工具输出的置信度分数并未经过统计校准。这意味着‘高置信度’分数并不能可靠地表明一个发现是正确的，从而可能导致误报或漏报，并扰乱开发工作流程。 ‘硬标签’陷阱 通过将审查结果呈现为二元的‘阻止’或‘批准’决策，这些工具强迫人们进行非黑即白的解读，而忽略了模型本身的不确定性。这种方法阻止了团队有效地平衡捕捉所有错误与避免不必要延迟之间的权衡。 统计校准作为解决方案 作者提倡在 AI 工具的原始输出上进行后处理，将其输入逻辑回归模型。这允许计算真实的概率分布，使团队能够设置具体的行动阈值（例如，仅阻止置信度 >80% 的问题），并区分不同类型的发现（例如，风格问题与安全问题）。 💬 Key Quotes 核心问题是匹配不当。代码审查工具在功能上是一个分类器：对于每一个发现，它都会输出一个标签和严重程度。但 LLM 并不是作为分类器构建的。 📊 Article Meta AI Screening： 85 Source： DEV Community: machinelearning Author： Cole Halton Category： 软件编程 Language： 英文 Read Time： 5 min Word Count： 1034 Tags： 编程与工程 , 机器学习 , 大语言模型 (LLM) , 代码质量 , 科技评论 Read Full Article