英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天

AI小蝌蚪行业资讯📡 量子位2026-11-12103 阅读💛 191 收藏
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天

henry 发自 凹非寺

量子位 | 公众号 QbitAI

全体起立!时隔一年半,英伟达的新一代机器人基础模型终于来了!

刚刚,在今年奥斯汀举行的CoRL大会上,英伟达GEAR领导朱玉可和Jim Fan,搬出了新一代世界动作模型——

GR00T 2。

在时长1分半的官方demo中,GR00T 2可以拿剪刀裁标签、安装显卡、擦火柴、切香蕉做早餐、擦咖啡、收桌子、卖爆米花。

看下来,几乎是样样全能。从双手精细操作到全身移动,模型的任务范围几乎覆盖了机器人能力的各个方向。

而且,据朱玉可透露,GR00T2的模型、数据、仿真环境和数据采集硬件也将陆续开源。

目前,10万小时的人类数据已经率先开放。

咱一人来一句英伟达nb,不过分吧?

GR00T 2:扩展机器人基础模型的泛化、灵巧性与适应能力

作为一款世界动作模型,GR00T2能够同时预测未来画面与机器人动作。训练时,它把“世界将如何变化”和“机器人应当如何行动”放在一起学习。

发布会上,Jim Fan将其定位为一个反应够快、能够本地运行,同时既容易通过示范教会,也容易被推理模型引导的System 1(快系统)物理技能模型。

而放回GR00T 2内部,这就是朱玉可在推特上说的Xadapt跨本体适配。

简单来说,过去要教会一台机器人完成新任务,往往需要针对它的身体形态和控制方式,重新采集一批机器人示范数据。

X-Adapt则试图打破这层限制,人类或手持设备示范过的技能,可以直接迁移给没有练过这项任务的机器人。

具体来看,英伟达展示了三条路径。

1、从人类示范迁移到机器人。

研究人员佩戴动捕设备,示范如何放置、润湿滤纸。随后,双五指手Dexter就能完成同一任务。

整个过程中,没有采集该任务的机器人遥操作示范。仅凭人类示范,Dexter在20次试验中的成功率就达到65%。

2、从手持夹爪迁移到机械臂。

研究人员使用手持UMI夹爪,示范如何组装玩具自卸卡车。模型学习后,再将这项技能迁移到YAM机械臂上。

尽管UMI与YAM的夹爪形态不同,YAM仍能端到端完成最长约四分钟的组装任务,成功率达到60%。

同样的迁移路径,还被用于传送带分拣与抛掷、操作板拆解等任务。

3、从可穿戴外骨骼迁移到机器人灵巧手。

研究人员戴上DexUMI手部外骨骼,示范制作香蕉酸奶、舀取麦片。

模型利用这些数据微调后,机器人就能接手完成早餐任务,同样不需要额外采集这项任务的机器人遥操作示范。

总结来看,这三条路径指向同一个变化:同一项技能,不必总是在每一种机器人上重新示范一遍。

当然,跨本体迁移并不意味着完全不需要机器人数据。

在人类动捕和UMI路径中,目标机器人仍会提供与具体任务无关的数据,让模型熟悉自身的身体结构、运动方式和控制空间。新任务的示范,则可以来自更容易采集的人类操作。

这也是GR00T2技术报告所强调的方向,扩展机器人基础模型的泛化、灵巧性与适应能力。

迁移之外,GR00T 2也展示了通过少量机器人示范提高执行精度的能力。

在另一组Dexter-50评测中,模型的零样本平均成功率为40%;每项任务提供一次示范后,成功率提高到71%;提供五次示范后,则达到95%。

更关键的是,这五次示范合计不足三分钟。随后,只需要在单张RTX5090上进行约30分钟的LoRA微调,就能得到适配对应任务的模型。

在实际调用方面,英伟达也紧跟潮流,开放了WAM API。

通过API,推理模型可以负责拆解任务、检查执行进度,再将具体的物理技能交给GR00T2执行。

换句话说,GR00T2不仅可以自己完成技能,还能成为上层智能体调用的物理执行模块。

那么,问题来了:英伟达,你咋这么nb?

40 万小时人类视频,怎么变成机器人的动手能力?

咱一个一个来说。X-Adapt背后,首先是一座数据金字塔。GR00T2的预训练混合了三类数据:

402,730小时人类第一视角视频;

10,184小时手持UMI演示,覆盖2,897项任务;

23,500小时机器人遥操作数据。

不难看出,人类视频的规模远大于另外两类。这意味着,机器人的学习材料不再局限于人工遥操作采集的动作轨迹,而是进一步扩展到大量真实的人类活动:

人怎样拿起工具、移动物体、完成装配,以及一次动作之后,周围场景会发生怎样的变化。

UMI和可穿戴设备负责补充更直接的操作轨迹,机器人遥操作数据则帮助模型学习不同身体对应的运动与控制方式。

为了验证人类视频究竟能不能帮助机器人干活?团队还专门做了一组规模实验。

他们分别使用不含人类视频、1%、10%和全部人类视频的数据训练模型,再在72项Dexter任务上评估。

结果显示,随着人类视频数据增加,真实机器人上的平均任务进度从50%提高到70%。

这组实验给出了一个相当直接的答案:大规模人类经验,不只是丰富模型的视觉知识,也能转化成机器人在真实任务中的执行进展。

为了吃下这些数据,在模型方面,GR00T2则接收语言指令、多视角相机画面和机器人状态,通过同一个扩散Transformer,联合预测未来视频与动作序列。

最后,围绕GR00T2,英伟达还在把数据采集、处理、训练、仿真验证和实际部署接成一套完整工具链。

采集端,是UMI、DexUMI等设备。它们让研究人员直接记录人类操作,尤其是那些传统遥操作很难自然完成的灵巧动作。

数据端,包括Human-1M与Flora。前者提供人类第一视角视频,首批10万小时子集已经公开;后者支持数据整理、描述性标注和自动评估。

仿真端,则有SimFoundry。它可以从真实场景重建任务环境,用于策略测试、数据生成和技能开发。

执行端,则由不同模型和组件分工完成。

ASPIRE将机器人模型与代码技能组织起来,支持任务执行和错误恢复。面向人形机器人,Turbo使用更轻量的网络和更紧凑的视频表示,降低预测开销。

在G1的机载Jetson Thor上,Turbo单次预测耗时为124毫秒;SONIC则运行在另一块Jetson Orin上,以50Hz进行全身控制。

前者生成运动计划,后者把计划转化为持续的身体动作,让机器人在伸手、弯腰和搬运时维持协调。

这样一来,开发者拿到GR00T2后,不仅能调用模型本身,还能沿着配套工具链采集自己的数据、适配自己的任务、在仿真中验证技能,最后将其部署到真实机器人上。

这也是英伟达此次发布更值得关注的地方:它开放的已经不只是一款机器人模型,而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。

One more thing

在CoRL的现场演讲里,Jim Fan说:

“Astra没有打碎我们的梦想,它打破的是我们的围墙。”

“这不是寒冬,这是机器人的夏天。”

虽然话是这么说不错,但今天发布的Claude Fable 5.2,在RoboDojo上的表现也着实有点,来给机器人学上课的意思。

在Anthropic公布的RoboDojo Sim仿真双臂测试中,采用相同运行框架、各模型最高可用推理强度,Fable 5.2得分 64.9%,GPT-6 Astra为29.8%。

要不,下次「后会友期」,大模型队和具身模型队也来报个名?

参考链接
[1]https://research.nvidia.com/labs/gear/gr00t-2/
[2]https://research.nvidia.com/labs/gear/gr00t-2/assets/gr00t2_whitepaper.pdf

 

版权所有,未经授权不得以任何形式转载及使用,违者必究。
世界模型 具身智能 英伟达
henry
  • 2026-11-05
  • 三年前布局,今年爆火丨西湖大学成立新中心2026-11-01
  • 刚刚,扩散模型杀进Agent主场!350亿参数,速度比Jev快一倍2026-10-29
  • 刚刚,Gemini 4终于来了:谷歌重回御三家,API限时半价2026-10-16

相关阅读

文章评论(12)

风倚栏4 天前

看完了,收获满满,期待更多更新。

回复
拾贝者4 天前

作者写得真不错,学到了不少。

回复
龙文博4 天前

不错不错,已加入书签。

回复
杨丽华4 天前

不错不错,已加入书签。

回复
龙文博4 天前

楼主辛苦了,内容很有参考价值。

回复
白向阳4 天前

有没有更详细的教程,期待后续。

回复
曹浩4 天前

看完了,收获满满,期待更多更新。

回复
空向阳4 天前

不错不错,已加入书签。

回复
墨沐雨4 天前

点赞,必须点赞

回复
风拾光4 天前

点赞,必须点赞

回复
墨沐雨4 天前

不错不错,已加入书签。

回复
雪影4 天前

点赞,必须点赞

回复