语言模型能学会模式背后的规则吗？

📌 One-Sentence Summary 一项针对 Llama 3 8B 的小型受控研究发现，该模型是一个强大的异常检测器，但无法接受不熟悉的合法结构，这表明流畅的输出并不等于系统性的组合理解。 📝 Summary 文章探讨了大语言模型究竟是学会了可以系统性应用的规则，还是仅仅识别熟悉的统计模式，并将此框定为涌现论（联结主义）与 Gary Marcus 所代表的符号传统之间关于组合性的争论。作者在三个受控实验中对 Llama 3 8B 进行了测试。在使用自创词时，模型正确拒绝了 66% 的无效句子，但错误拒绝了 64% 的合法句子，表明它将不熟悉等同于错误。在结构与难度对比测试中，它拒绝了 100% 的合法与无效句子，将语法性与处理难度混为一谈。在隐喻测试中，它在 95% 的逻辑类别比较中失败，因为它默认采用文学解读。作者认为这些结果支持一种将神经模式学习与符号规则表示相结合的混合架构，同时承认该研究的局限：单一模型、单一设置以及不寻常的示例。对开发者的实际启示是，在熟悉输入上的正确答案并不能证明规则能在分布偏移下存活，因此评估应测试变换而非仅测试答案。 💡 Main Points 流畅的输出并不能证明系统性的规则学习 模型能生成连贯的语言，并常常给出听起来颇具分析性的解释，但其判断在等价案例之间却不一致，表明它是在识别而非抽象。 模型的行为更像异常检测器，而非语法 在使用自创词时，它捕捉到了 66% 的无效句子，却拒绝了 64% 的合法句子，将不熟悉视为错误的证据，而非验证符合规则的新构造。 它将语法性与处理难度混为一谈 在结构与难度对比测试中，它拒绝了 100% 的合法与无效句子，未能将形式规则与人类对易于处理结构的偏好区分开来。 默认解读可能覆盖明确的分析指令 在隐喻类别比较中，它在 95% 的案例中失败，转而采用文学解读，而非遵循所要求的逻辑分析，不过作者指出这一结果不够干净。 评估应测试变换，而非仅测试答案 由于在熟悉输入上的正确答案并不能保证规则能在分布偏移下存活，基准测试应改变名称、反转关系，并呈现不寻常但合法的案例，以衡量抽象能力而非熟悉度。 💬 Key Quotes 一个具有抽象语法的系统应当能在两个方向上运作。 该模型的行为更像一个强大的异常检测器，而非一个能可靠验证不熟悉组合的语法。 如果模型表示的是规则，难度就不应自动变成不合语法。 在看似熟悉的输入上给出正确答案，并不能证明底层规则能在分布偏移下存活。 这正是模式识别结束、组合性思维开始的地方。 📊 Article Meta AI Screening： 85 Source： DEV Community: machinelearning Author： Kfir Adut Category： 人工智能 Language： 英文 Read Time： 9 min Word Count： 2019 Tags： AI 与智能应用 , 机器学习 , 模型训练与推理 , AI 安全与对齐 , 学习方法 Read Full Article