我用 Codex 做了一个写作论断核查器,它却放过了一个错误论断

📌 One-Sentence Summary
一位开发者用 Codex 构建了一个基于规则的论断核查器,随后记录了它的词面重叠、数值、指标与因果检查如何在一个微妙的「错误率降低」被换成「准确率提升」的错误上全部失效,并主张这类工具应当诚实地充当检查辅助,而非裁决机器。
📝 Summary
作者构建了 Evidence Desk,一个基于浏览器的工具,它把草稿拆分成若干论断,通过词面重叠检索最接近的源段落,并运行数值、指标与因果检查,将每条论断标记为「有支持」「可能不匹配」或「证据不足」。用一个关于虚构分类器 Meridian 的内置样例测试时,该工具对一条把「错误率降低 20%」换成「准确率提升 20%」的论断返回了「有支持」,因为源段落同时提到了「accuracy」和「20%」。作者将原因追溯到设计本身:重叠分数衡量的是派生关系,而非真实性;指标检查只在论断的第一个指标词未出现在段落中时才触发;因果检查无法识别否定;分词器还会把句末标点粘在词上。他还披露,样例中存储的审阅结果显示「可能不匹配」,而实时引擎却返回「有支持」。一个原型修复(去除标点、将数字与同一句中的指标词绑定、把被否定的因果关键词视为不存在)消除了这些失败,但仍是启发式的。结论是:写作与证据核查是两项独立的工作,核查器应当清楚自己的局限,而不是表现得自信。
💡 Main Points
高词面重叠只能证明派生关系,不能证明正确性,因此检索可以找到正确的段落,却仍然察觉不到它与论断相矛盾。
Meridian 准确率那条论断对错误率段落打出 86 分,因为草稿正是从该段落写出来的;被扭曲的改写按定义就是一种紧密派生,所以重叠度无法检测出这种不匹配。
基于规则的指标与数值检查把段落当作词与数字的集合,因此会漏掉数量替换,也会在证据分散时过度判断。
指标检查只在论断的第一个指标词未出现在段落中时才触发,而该段落在第二句提到了「accuracy」,于是它保持沉默。数值检查则会在某个数字未出现在单一检索段落中时报警,即便证据分散在两段里。
关键词匹配无法处理否定,因此一条因果论断可能被一句明确否认因果的句子标记为「有支持」。
原文说该结果并不能证明是助手造成了差异;把论断改写为「助手造成了分数差异」后,检索到的正是那句话,并以 50 分返回「有支持」。
工具展示的样例审阅结果与实时引擎返回的结果不一致,这削弱了人们对一个核查工具的信任。
样例中带有一份存储的审阅结果,显示准确率那条论断为「可能不匹配」,而把同样的文本交给实际的检查逻辑运行却返回「有支持」,这意味着界面展示的是期望的结果,而非引擎的输出。
核查器应当是一种检查辅助,把草稿缩小到值得重读的论断范围,而不是自信裁决的来源。
作者主张,他宁愿发布一个清楚自己局限的工具,也不愿发布一个给出自信裁决的工具;而一旦有人把它的裁决当作真相,它就不再有用。
💬 Key Quotes
高分只能告诉你一句话与其来源的派生关系有多紧密,而被扭曲的改写按定义就是一种紧密派生。
检索找到了正确的段落,却无从察觉这个段落其实并不同意。
关键词匹配根本不知道否定是什么,而样例之所以能抓到它的因果论断,只是因为恰好是那段文字排在了第一位。
写下一句话和核查它的证据是两个独立的步骤,而它们以各自不同的方式失败。
一旦有人把它的裁决当作真相,它就不再有用。
📊 Article Meta
AI Screening: 86
Source: Towards Data Science
Author: Benjamin Nweke
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2023
Tags:
AI 与智能应用 , AI 编程 , 事实核查 , AI 工程 , 提示工程
收藏了,以后慢慢研究。
很有价值的分享,感谢整理。
思路清晰,干货满满。
刚好最近在找这方面的资料,太及时了。
有没有更详细的教程,期待后续。
讲解得很细致,新手也能看懂。
这篇文章分析得很透彻,收藏了!
很有价值的分享,感谢整理。
作者写得真不错,学到了不少。
写得挺用心的,支持一下。
思路清晰,干货满满。
思路清晰,干货满满。