我用 Codex 做了一个写作论断核查器,它却放过了一个错误论断

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-17722 阅读💛 168 收藏
我用 Codex 做了一个写作论断核查器,它却放过了一个错误论断

📌 One-Sentence Summary

一位开发者用 Codex 构建了一个基于规则的论断核查器,随后记录了它的词面重叠、数值、指标与因果检查如何在一个微妙的「错误率降低」被换成「准确率提升」的错误上全部失效,并主张这类工具应当诚实地充当检查辅助,而非裁决机器。

📝 Summary

作者构建了 Evidence Desk,一个基于浏览器的工具,它把草稿拆分成若干论断,通过词面重叠检索最接近的源段落,并运行数值、指标与因果检查,将每条论断标记为「有支持」「可能不匹配」或「证据不足」。用一个关于虚构分类器 Meridian 的内置样例测试时,该工具对一条把「错误率降低 20%」换成「准确率提升 20%」的论断返回了「有支持」,因为源段落同时提到了「accuracy」和「20%」。作者将原因追溯到设计本身:重叠分数衡量的是派生关系,而非真实性;指标检查只在论断的第一个指标词未出现在段落中时才触发;因果检查无法识别否定;分词器还会把句末标点粘在词上。他还披露,样例中存储的审阅结果显示「可能不匹配」,而实时引擎却返回「有支持」。一个原型修复(去除标点、将数字与同一句中的指标词绑定、把被否定的因果关键词视为不存在)消除了这些失败,但仍是启发式的。结论是:写作与证据核查是两项独立的工作,核查器应当清楚自己的局限,而不是表现得自信。

💡 Main Points

高词面重叠只能证明派生关系,不能证明正确性,因此检索可以找到正确的段落,却仍然察觉不到它与论断相矛盾。

Meridian 准确率那条论断对错误率段落打出 86 分,因为草稿正是从该段落写出来的;被扭曲的改写按定义就是一种紧密派生,所以重叠度无法检测出这种不匹配。

基于规则的指标与数值检查把段落当作词与数字的集合,因此会漏掉数量替换,也会在证据分散时过度判断。

指标检查只在论断的第一个指标词未出现在段落中时才触发,而该段落在第二句提到了「accuracy」,于是它保持沉默。数值检查则会在某个数字未出现在单一检索段落中时报警,即便证据分散在两段里。

关键词匹配无法处理否定,因此一条因果论断可能被一句明确否认因果的句子标记为「有支持」。

原文说该结果并不能证明是助手造成了差异;把论断改写为「助手造成了分数差异」后,检索到的正是那句话,并以 50 分返回「有支持」。

工具展示的样例审阅结果与实时引擎返回的结果不一致,这削弱了人们对一个核查工具的信任。

样例中带有一份存储的审阅结果,显示准确率那条论断为「可能不匹配」,而把同样的文本交给实际的检查逻辑运行却返回「有支持」,这意味着界面展示的是期望的结果,而非引擎的输出。

核查器应当是一种检查辅助,把草稿缩小到值得重读的论断范围,而不是自信裁决的来源。

作者主张,他宁愿发布一个清楚自己局限的工具,也不愿发布一个给出自信裁决的工具;而一旦有人把它的裁决当作真相,它就不再有用。

💬 Key Quotes

高分只能告诉你一句话与其来源的派生关系有多紧密,而被扭曲的改写按定义就是一种紧密派生。

检索找到了正确的段落,却无从察觉这个段落其实并不同意。

关键词匹配根本不知道否定是什么,而样例之所以能抓到它的因果论断,只是因为恰好是那段文字排在了第一位。

写下一句话和核查它的证据是两个独立的步骤,而它们以各自不同的方式失败。

一旦有人把它的裁决当作真相,它就不再有用。

📊 Article Meta

AI Screening: 86

Source: Towards Data Science

Author: Benjamin Nweke

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2023

Tags:

AI 与智能应用 , AI 编程 , 事实核查 , AI 工程 , 提示工程

#AI 与智能应用# AI 编程# 事实核查# AI 工程# 提示工程

文章评论(12)

墨向阳29 天前

收藏了,以后慢慢研究。

回复
陈皮话梅糖29 天前

很有价值的分享,感谢整理。

回复
逐光而行29 天前

思路清晰,干货满满。

回复
青柠微凉29 天前

刚好最近在找这方面的资料,太及时了。

回复
空向阳29 天前

有没有更详细的教程,期待后续。

回复
墨向阳29 天前

讲解得很细致,新手也能看懂。

回复
拾贝者29 天前

这篇文章分析得很透彻,收藏了!

回复
青柠微凉29 天前

很有价值的分享,感谢整理。

回复
风倚栏29 天前

作者写得真不错,学到了不少。

回复
青柠微凉29 天前

写得挺用心的,支持一下。

回复
一叶知秋29 天前

思路清晰,干货满满。

回复
逐光而行29 天前

思路清晰,干货满满。

回复