LLM 会听信糟糕建议吗？基于 840 轮回合制游戏测试战略韧性

📌 One-Sentence Summary

一项严谨的 840 轮博弈论基准测试显示，前沿 LLM 不仅不会听信对抗性糟糕建议，反而会予以反制；而小模型表面上的轻信，实际上是由坐标偏差引起的虚假表象。

📝 Summary

本研究推出了 TurnBasedBenchmarks，这是一项实证评估，旨在测试 7 个 LLM 在经历对话欺骗、虚张声势和指令欺骗时，在 840 轮石头剪刀布和井字棋游戏中的战略韧性。该实验利用 SHA-256 状态承诺、严格的单次有效 JSON 输出契约以及确定性的极小化极大算法/Python 评分，评估了模型在基线、中立、劝导和欺骗条件下的决策。研究结果表明，像 Claude Sonnet 5 这样的前沿模型能够积极利用欺骗性建议——通过系统性地采取反制招式，在面对虚张声势时取得了 86.1% 的胜率；而 Gemini 3.7 Flash 整体表现最佳，在井字棋中做出了 91.7% 的最优走法。至关重要的是，配对对照实验揭示出，较小模型表面上易受糟糕建议影响（67% 的情况下选择坏走法）的现象，实际上是对单元格 0 未加处理的空间索引偏差所致，而非劝导脆弱性。此外，DeepSeek-R1 在所有轮次中均得零分，原因在于其推理 Token 溢出，超出了严格的 256 Token 输出预算上限。

💡 Main Points

前沿 LLM 会对对抗性欺骗发起反击，而非屈服于它

在石头剪刀布中，Claude Sonnet 5 将对抗性的虚张声势和指令欺骗转化为可利用的反制策略，其胜率从中立条件下的 33.3% 飙升至面对欺骗信息时的 86.1%。

配对对照实验至关重要，能防止位置偏差被误判为劝导脆弱性

较弱的模型在井字棋中看起来有 67% 的时间听从了糟糕建议，但中立的问候语也能诱发完全相同的选择；这一行为完全源于模型对单元格 0 的默认偏好以及求解器平局仲裁机制的伪影，而非受到提示词的影响。

若无独立的思考通道，严格的 Token 预算会导致推理模型无法通过契约验证

DeepSeek-R1 在 120 轮中均获得 0.0 分，因为原始推理 Token 在输出有效 JSON 之前就耗尽了 256 Token 的上限，这凸显了在生产环境智能体微契约中剥离思考流的工程必要性。

💬 Key Quotes

前沿模型没有受骗；它们发起了反击。Claude Sonnet 5 通过系统性地采取反制走法，在面对劝导性虚张声势时的胜率飙升至 86.1%。

较弱的模型看起来有 67% 的时间会听从糟糕建议，但中立的问候语也会引发完全相同的选择。这不是劝导的威力，纯粹是对索引 0 的坐标偏差。

没有任何一个模型选择建议的必败走法的频率高于其中立基线。劝导并没有让模型落败。

这是生产环境智能体的一个关键教训：如果你在严格的微契约下运行推理模型，就必须隔离或剥离思考通道。

📊 Article Meta

AI Screening： 85

Source： DEV Community: machinelearning

Author： Mikael A

Category： 人工智能

Language： 英文

Read Time： 7 min

Word Count： 1643

Tags：

AI 与智能应用 , 大语言模型 (LLM) , 模型评测与基准 , AI 安全与对齐 , 实战案例