世界模型 vs LLM：AI 理解物理世界的两条路

什么是世界模型

世界模型是一种能够 理解和模拟物理世界运行规律 的 AI 系统。它不仅处理语言，还能：

• 理解因果关系 —— 知道”推杯子到桌边，杯子会掉下去摔碎”
• 物理模拟 —— 理解重力、碰撞、流体等物理规律
• 空间推理 —— 理解三维空间中物体的位置、运动轨迹
• 预测未来状态 —— 给定当前状态和动作，预测接下来会发生什么

简单说：世界模型试图在 AI 内部构建一个”虚拟世界”的模拟器。

核心区别

「输入」 LLM：文本（token 序列） 世界模型：多模态（视觉、触觉、语言、动作……）

「学的是什么」 LLM：语言中的统计模式和知识 世界模型：物理世界的运行规律

「推理方式」 LLM：基于语言的”下一个 token 预测” 世界模型：基于状态的”下一个世界状态预测”（推理机制完全不同）

「因果理解」 LLM：弱，主要靠语料中的相关性 世界模型：强，需要真正理解因果链

「能否指导行动」 LLM：间接的（给建议、写代码） 世界模型：直接的（机器人规划动作路径）

「典型应用」 LLM：对话、写作、编程 世界模型：自动驾驶、机器人、游戏 AI

一个直观的例子

“一个球从斜坡上滚下来，撞到一排积木”

LLM —— 能用文字描述这个场景，因为训练语料里见过类似描述

世界模型 —— 能”脑内模拟”球的轨迹、速度、积木倒塌的方式，预测每个积木的最终位置

世界模型，难在哪里？

世界模型是 AI 领域公认的 最难的挑战之一，主要难点：

1. 物理世界太复杂

语言的 token 空间虽大但离散、有限；物理世界是连续的、无限维度的。流体、柔性物体、光影变化……规则极其复杂。

2. 训练数据的获取

LLM 靠互联网文本就能训练，数据几乎无限。世界模型需要 带物理标注的多模态数据（视频 + 深度 + 力学 + 因果标签），获取与整理成本极高。

3. 评估困难

LLM 可以用 benchmark、人类评分来评估模型训练效果。世界模型的”对世界理解是否正确”很难量化测量。

4. 泛化能力

在一个场景学到的物理规律，能否迁移到全新场景？这是核心挑战。

当前进展

虽然难，但已经有不少进展：

Sora（OpenAI） —— 被称为”视频世界模拟器”，通过生成视频来隐式学习物理规律，但仍有明显的物理错误

Genie 2（DeepMind） —— 可以从单张图片生成可交互的 3D 世界

自动驾驶领域 —— Tesla、Waymo 等的感知预测模块本质上就是专用世界模型

机器人领域 —— 用世界模型做动作规划（如 Google RT-2）

一句话总结

LLM 是”语言世界”的模拟器，世界模型是”物理世界”的模拟器。

LLM 已经很强了，但要让 AI 真正理解并操作物理世界（机器人、自动驾驶），世界模型是必经之路。难，但正在一步步推进。

Yann LeCun（Meta 首席科学家）一直在推这个方向，他认为 世界模型是通向 AGI 的关键缺失模块，比单纯扩大 LLM 更重要。

原文信息

作者：plantegg（@plantegg）

原文地址：