机器人 AI 技术 VLA 的起源与发展历史

📌 One-Sentence Summary
对视觉-语言-动作(VLA)模型的全面技术概述,涵盖了早期的视觉运动策略到现代的世界基础模型。
📝 Summary
本文追溯了 VLA 模型的历史轨迹,将其分为五个不同阶段:VLA 出现之前的视觉运动策略、通过 RT-1 实现的 Transformer 验证、通过 RT-2 正式命名为 VLA、开源爆发,以及当前向人形机器人双系统架构的转变。
💡 Main Points
VLA 并非突然其来的突破,而是将场景感知、指令遵循和动作整合到同一个网络中的范式转移。
它从早期的视觉运动策略(基于 CNN)、视觉-语言对齐(CLIP)以及基于语言的策略(SayCan)演变而来。
RT-1 确立了「Transformer + 语言 + 离散动作」的工程公式,但由于缺乏大型预训练 VLM 主干,并非严格意义 VLA。
它证明了基于 Transformer 的策略可以在机器人上大规模运行,但泛化能力有限。
RT-2 通过将机器人动作标记化为语言模型的词表,标志着 VLA 术语的正式诞生。
它证明了互联网规模的 VLM 预训练可以迁移到物理动作空间,尽管延迟仍然较高。
2024 年是通过 Open-Embodiment 和 OpenVLA 实现开源民主化的一年。
OpenVLA 提供了一个 7B 参数的基准,将 VLA 从闭源演示变为社区可微调的平台。
未来正向双系统架构发展,即由 VLM 处理慢速语义推理,而由低层策略(如流匹配)处理高频控制。
这种转变在最近的 Figure Helix 和波士顿动力 Atlas 项目项目中尤为明显,旨在实现统一的移动与操控。
💬 Key Quotes
VLA(视觉-语言-动作)不是某一天突然出现的模型,而是一种将理解场景、理解指令和输出动作整合到同一个网络中的方式。
RT-2 的关键创新……是将机器人动作转化为语言模型的词表。
它证明了互联网规模的 VLM 预训练可以迁移到物理动作空间。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: cognitalk
Category: 人工智能
Language: 英文
Read Time: 10 min
Word Count: 2466
Tags:
AI 与智能应用 , 人形机器人 , 机器学习 , 具身智能 , 历史
思路清晰,干货满满。
楼主辛苦了,内容很有参考价值。
不错不错,已加入书签。
楼主辛苦了,内容很有参考价值。
很有价值的分享,感谢整理。
实话,说的不明不白
作者写得真不错,学到了不少。
这篇文章分析得很透彻,收藏了!
作者写得真不错,学到了不少。
写得挺用心的,支持一下。
收藏了,以后慢慢研究。
讲解得很细致,新手也能看懂。