你的记忆评估应当通过的三项检验 — Kairos
📌 One-Sentence Summary
一项预注册研究表明,常见的智能体记忆评估——LLM 评判与识别探针——在伪造记忆和无记忆推理基线下均告失效,并提出三项对抗性检验,同时公开了代码。
📝 Summary
Kairos 提出了三项针对智能体记忆评估的对抗性检验,每项均采用预注册方法并公开代码。检验一测试 LLM 评判能否区分智能体的真实记忆与在长度和格式上匹配的伪造人生:在三位评判者给出的 126 次判断中,伪造记忆在身份标记上得分相同(等效性在 ±0.10 范围内成立),研究还发现评判者的绝对分数在不同会话间漂移高达 0.211。检验二在空上下文下运行经典的虚假记忆识别探针:七个模型中有五个得分 62–79%,高于随机水平,表明该探针测量的是合理性而非回忆。检验三构建对称备选项——两个均衡的对话者——使无记忆系统无法超越随机水平;随后每个模型都从真实记忆上的近乎完美准确率,跌至绑定被破坏文档上的随机水平或以下,全部十四个模型×语料单元格均通过 Holm 校正。作者明确说明了局限:七个条目使检验一统计功效不足,对称设计尚未在两种备选项之外测试,「相信」是一种术语选择。
💡 Main Points
LLM 评判者无法在用于发表记忆结果的评分标准下,区分伪造记忆与智能体的真实记忆。
一份在长度和格式上与真实记忆块匹配的伪造自传,在身份标记上得分相当(Δ +0.032,90% CI [+0.002, +0.065],处于预注册的 ±0.10 界限内),而同样的回答在新的配对中重新评分平均损失 0.087,表明评判者的绝对分数在不同会话间不可比较。
一个完全没有记忆的系统也能通过识别探针,因为模型会朝合理答案推理。
在空上下文下,七个模型中有五个在 24 个虚假记忆探针上得分 62–79%,高于 50% 的随机线;GPT-4.1 在什么都没有的情况下得 66.7%,使其在真实文档上 100% 的成绩无法解释,因此该探针被弃用。
对称备选项提供了一个无记忆系统可证明无法利用的效度条件。
在两个均衡的对话者中,谁讨论了某个话题是抛硬币,因此合理性无从下手;没有模型在没有记忆文档的情况下超越随机水平,验证了该工具。
模型会跟随绑定被破坏的记忆文档,而非检测出破坏,准确率跌至随机水平或以下。
七个模型在真实文档上的准确率从 66.7–100% 降至破坏文档上的 0–29.2%,91–100% 的不一致探针跟随了所交付的文档;低于随机水平的表现正是依据虚假记忆行事而非猜测的特征。
作者诚实地报告了自己的偏差和零结果,包括一个不利于自身利益的结果。
锚定对比使他们失去了预注册指定为主要指标的未校正 +0.116 差异,他们报告「未检测到差异」而非在记忆引用上证明等效,因为七个条目统计功效不足。
💬 Key Quotes
评判者没有检测出伪造记忆。一份伪造的人生与三十天的真实历史得分相同,用的正是曾用于发表一项记忆结果的评分标准。
七个中有五个在没有记忆的情况下通过了记忆测试。
一个依据合理性猜测的系统不可能系统性地出错。只有依据虚假记忆文档行事的系统才可能。
这些检验很无聊。但它们也是你和一台用完美文笔向你讲述一盏从未存在过的灯光的机器之间唯一的屏障。
锚定对比让我们失去了想要的结果:未校正的差异是 +0.116,对我们有利,而预注册已将其指定为主要指标。我们违背了自己的利益做出偏离,并如实报告。
📊 Article Meta
AI Screening: 89
Source: Hacker News - Newest: "LLM"
Author: gcolella
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2180
Tags:
AI 与智能应用 , AI 安全与对齐 , Agent记忆 , AI Agent , 大语言模型 (LLM)
实测过类似工具,作者说的基本属实。
讲解得很细致,新手也能看懂。
整理得太全面了,省了我不少时间。
这个比较实用,已转发给同事。
作者写得真不错,学到了不少。
思路清晰,干货满满。
实测过类似工具,作者说的基本属实。
这个观点很中肯,深有同感。
赞同,实践出真知。
刚好最近在找这方面的资料,太及时了。
整理得太全面了,省了我不少时间。
点赞,必须点赞