霸榜三大基准!优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

林知秋行业资讯📡 量子位2026-10-17488 阅读💛 6 收藏
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

霸榜三大基准!优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

优必选 Thinker-WM在三大公认具身世界模型基准评测中全部拿下第一名

01 三大基准全榜登顶,Thinker-WM 斩获三项第一

日前,优必选 Thinker-WM在三大公认具身世界模型基准评测中全部拿下第一名,刷新行业成绩:

WorldOlympiad:

Thinker‑WM 取得综合得分 0.740 位列榜首。该基准基于大量真实机器人交互数据构建,覆盖十余种不同机器人本体与多类相机配置,重点考核模型跨机器人形态、跨视角的泛化能力。模型取得 3D 一致性 0.531、交互保真度 0.765,两项单项指标位居全部参评模型首位,体现模型对三维几何结构与机器人交互过程的精准建模能力。

EWMBench:

Thinker‑WM 取得综合总分 4.66,超过 Qwen‑RobotWorld、Sora2 等主流模型。EWMBench 完整考核场景一致性、机器人末端运动正确性、指令语义对齐三大能力维度。得益于表征层面的多模态联合建模,Thinker‑WM 在反映机器人轨迹时空匹配的 nDTW(归一化动态时间规整)、表征运动速度与加速度合理性的 Dyn(动力学一致性)等机器人运动核心指标上实现领先。

WorldArena1.0 Track-1:

在仿真环境基准 WorldArena Track‑1,Thinker‑WM 在视觉画质、内容一致性、物理合理性、3D 几何精度、指令遵循等 12 项关键评价维度整体领先,兼顾仿真环境下视觉生成质量与物理交互可信度。Thinker‑WM 以表征层统一的 Unified Dynamic Transformer(UDT)为核心,将 RGB 图像、度量深度、机器人动作纳入同一套共享动态表征联合演化,实现视频‑动作联合生成、世界预测、策略推理、视频转动作、逆动力学等多项能力合一,为具身智能提供新一代基础世界模型底座。

02 Thinker-WM技术突破:表征层面实现视觉、几何、动作多模态统一

让机器人在真实世界落地干活,最难的不是识别眼前物体,而是预判环境下一步变化。这也是世界模型存在的价值与意义,而过往世界模型普遍采用 “拼接式” 方案:视频生成负责画面、策略网络负责动作、几何预测负责空间信息,模块独立计算,再通过接口拼接输出。

但这套技术模型的问题在于,动作改变环境、环境约束动作,几何结构同时影响两者,物理上紧密耦合的信号被拆分到不同模块,丢失其内在因果关联。

举个例子,“一个杯子被推下桌子”这件事情,在语言里是一句话描述,在动作里是一串关节命令,在视频里是一段穿越画面的物体运动,在深度里是一组连续变化的距离场。四种表述指向的是同一个事件,而不是四个不同的对象。所以,要求模型生成其中任何一种,本质上都是在追问同一个过程。

但这种重叠又是不完全的。动作既不携带外观,也不携带上下文,同样的关节命令,放在空桌子上和放在杂乱的桌子上,含义完全不同。语言也不携带时空细节,“杯子被推下桌子”这句话,既没有规定从哪一侧推、用多大力、以什么速度推,也没有规定手的具体轨迹、杯子翻转几圈、最终落在哪里。视频不携带显式几何和度量,其仅使用一系列像素表示,既不知道杯子的尺寸,也不知道杯子的距离。深度也不携带外观、命名语义和意图,它给出表面在哪里、如何遮挡、如何接触,却不告诉你那是杯子还是桌布,更不告诉你为什么要推它。

针对这个问题,优必选 Thinker 团队给出全新解法:不在接口处做简单合并,而是在表征层面实现多模态统一。Thinker-WM(Thinker World Model)作为优必选自研统一多模态世界模型,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间,依靠一组共享参数联合演化。外观、几何、动作不再是三条独立流水线,而是同一个世界演化过程的三种表达形态。也就是说,Thinker-WM 的底层设计逻辑可以概括为:不同模态是同一过程的不同表述;模型将它们对齐到共享表征空间,并在这一共享表征上进行推理,而不是在模态接口上做条件组合。

Thinker-WM:视觉、几何与动作的统一建模框架

具体来看,RGB图像、深度信息、机器人动作分别通过各自的编码器映射到统一潜在空间,送入共享的统一动态Transformer(Unified Dynamics Transformer, UDT)进行联合时序建模,最终由各自的解码器还原输出视频、深度图、机器人可执行动作。这就意味着多模态的交互发生在Transformer内部,视觉token、几何token和动作token通过同一个注意力机制直接交换信息,而不是在输入或输出层做浅层拼接。

几何信息也不再只是辅助监督信号。Thinker-WM 把深度作为原生生成模态,与视频共享一致的潜在拓扑和时空组织。深度监督直接塑造共享表征,让物理空间结构成为世界模型的 “母语”,而非后期外挂补充模块,从而也能帮助人形机器人更准确地理解物理空间。统一建模的价值,也体现在机器人的实际执行效果上。在 RoboTwin 单任务消融实验中,引入深度模态后,操作成功率较无深度基线提升了 15 个百分点,说明空间几何信息不仅有助于模型理解场景,也能改善动作生成与任务执行。

03 3万小时异构数据,让一个模型,解锁六种能力

依托多模态统一表征,所有模态共享同一组参数,Thinker-WM 可以通过灵活切换条件模态与生成模态,支持六大能力模式。

同一份权重,既能预判、想象未来画面,也能反向推演机器人执行轨迹,还能从视频中提取动作信息,这正是统一表征带来的核心技术红利。

04 3万小时异构数据,撑起通用世界模型底座

统一表征能力的背后,是优必选规模丰富、类型多元的训练数据支撑。Thinker-WM 训练语料在具身智能领域具备可观体量:

  • 约2万小时第一人称人类视频:覆盖家庭、商业零售、工业等场景,补足机器人遥操作难以低成本获取的任务、物体与场景多样性,同时配套约 1 千小时的对齐深度数据。
  • 约1万小时真实机器人数据:来自多款不同形态机器人,提供视觉观测与可执行动作的配对监督,其中约 3 千小时配套对齐深度标注。
  • 约1千小时仿真数据:提供高精度几何、物理监督信号。

不同机器人动作空间、坐标系、控制协议差异巨大。Thinker-WM 的统一思想不仅应用于模型框架上,也应用于数据选择中。该模型统一使用末端位姿表示所有机器人动作,同时为不同机器人在token中嵌入专属标签。这样不同形态的机器人可以共享同一个生成空间,又能够保留精准的本体控制能力。

05 数据 Infra:让海量异构数据高效支撑统一模型训练

海量数据要转化为模型能力,离不开稳定、高效的数据基础设施。面对不同机器人、人类视频与仿真数据在格式、模态和标注上的差异,优必选 Thinker 团队构建了 Data Factory,将数据管理与训练采样解耦,让多源数据按模型需求灵活组合。

Data Factory:从多源异构数据到统一模型训练

Data Factory 围绕三个关键环节支撑训练:统一组织视频、状态、动作与语言信息,按需生成不同训练模式所需的样本;通过分层质检过滤异常片段,检查深度与视频对齐,确保训练信号可靠;通过异步预取与编码复用提前准备训练数据,减少等待与重复计算。

这套数据基础设施,让多源异构数据能够被可靠组织、灵活调用、高效供给,为 Thinker-WM 六种能力模式的联合训练与持续迭代提供工程支撑。

06 通过Motion Probe实验设计,轻量化实验:验证跨模态表征真实耦合

表征层面统一多模态,听起来是架构设计上的创新,但有一个核心疑问:模型究竟是真的在共享空间学到视觉、几何、动作之间的耦合关联,还是只是并行处理多路信息,把不同模态简单放在一起?

为回答这个问题,优必选Thinker 团队设计了轻量级 Motion Probe(运动探针)验证实验。研究团队在冻结的UDT视觉表征上接一个极小的运动预测头,只训练这个头,看能否从纯视觉表征中恢复出末端执行器的位移。

Motion Probe示意图

实验结果证实猜想:探针预测误差很低。即使没有动作监督,视觉表征中也已经编码了与动作相关的运动信息。这一结果直接证明,表征层面的多模态统一真实生效,视觉感知和动作规划不是两条相互独立的链路,而是在共享潜在空间里实现深度耦合。

07 这意味着什么

这也进一步说明,Thinker-WM本次技术的突破的,价值远不止一次刷榜成果。它指明具身世界模型的底层新范式:

具身智能的世界模型不应该是 “视频生成器 + 策略头” 的简单组合,而是一套完整统一的生成过程——视觉观测、空间结构、动作规划,是同一个物理世界过程的不同表达。

当机器人能够在同一表征空间内同步推演画面变化、空间结构、动作轨迹,它对物理世界因果逻辑的理解便向前迈进一大步。这也是机器人从“可以执行任务干活”,迈向“能够理解真实世界”的关键跃迁。

Thinker-WM 现已完成在优必选机器人平台上部署验证,相关技术将持续赋能下一代具身智能系统。

Thinker-WM 的探索不止本次成果发布。模型技术报告与后续迭代版本将在优必选官方具身智能开发者社区Thinker Cosmos 持续更新;世界模型二次开发能力开放计划、技术解读直播预告,也将第一时间面向开发者公布。欢迎加入Thinker Cosmos(),共建具身智能生态。

项目链接

论文链接:

项目地址:

Github:

Huggingface:

本文由优必选提供,量子位获授权转载,观点归原作者所有。

版权所有,未经授权不得以任何形式转载及使用,违者必究。
优必选
量子位的朋友们量子位的朋友们
  • 从“看懂世界”到“预演下一步”:世界模型与 VLA,如何让机器人拥有真正的“具身大脑”?2026-10-16
  • 说真话就能拿10万?网易叭哥说重金求“真需求”,不卡专业学历2026-10-16
  • 范式智能联合睿思智联推出开源一站式 生产级 AI 部署平台 “模域ModelSphere”2026-10-16
  • 百度世界2026五大亮点曝光,企业和开发者值得关注什么?2026-10-16

相关阅读

文章评论(12)

一叶知秋29 天前

整理得太全面了,省了我不少时间。

回复
风倚栏29 天前

路过

回复
龙文博29 天前

看完了,收获满满,期待更多更新。

回复
星寻梦29 天前

整理得太全面了,省了我不少时间。

回复
青柠微凉29 天前

实话,说的不明不白

回复
晨沐雨29 天前

写得挺用心的,支持一下。

回复
三分糖去冰29 天前

看标题就点进来了,内容果然没让人失望。

回复
墨沐雨29 天前

思路清晰,干货满满。

回复
杨丽华29 天前

实话,说的不明不白

回复
雪知秋29 天前

写得挺用心的,支持一下。

回复
逐光而行29 天前

实话,说的不明不白

回复
杨丽华29 天前

这个比较实用,已转发给同事。

回复