FLEX 教机器人从人类纠正中实现泛化

📌 One-Sentence Summary
FLEX 是一种利用对话式纠正来教机器人从人类反馈中实现泛化的系统,使机器人能够推断更广泛的偏好,并通过由 ADD、GENERALIZE 和 MASK 操作组成的三步流程相应调整行为。
📝 Summary
MIT 和 NYU 的研究人员开发了 FLEX(Flexible Feature Editing Pipeline,灵活特征编辑流程),这是一种让机器人能够从人类纠正中实现泛化的系统。它通过推断更广泛的偏好来处理问题,而不只是添加具体障碍。该系统针对语言引导机器人中的一个主要失效模式:告诉机器人不要把东西洒在笔记本电脑上,只会让机器人把该物体加入障碍清单,却无法让它理解这件事为何重要。FLEX 采用三步流程:当现有特征无法解释纠正内容时,ADD 会提出新特征;GENERALIZE 会将过于具体的特征替换为与推断出的意图相关的特征;MASK 则会移除无关特征。在 9x9 导航网格和模拟 Franka 机械臂任务中的实验表明,FLEX 的平均归一化奖励最高,为 0.99,而基线方法为 0.69-0.83。在一项有 12 名参与者的人类研究中,FLEX 在意图理解方面获得最高评分(6.3,ALGAE 为 5.0,MFE 为 4.5)。目前,该系统适用于刚性物体的准静态操作,在动态任务、可变形物体和个人偏好方面仍有局限。
💡 Main Points
FLEX 通过 ADD、GENERALIZE、MASK 三步流程,让机器人能够从人类纠正中推断更广泛的偏好,而不只是添加具体障碍。
ADD 步骤会检查现有特征能否解释纠正内容,并在需要时借助语言模型提出新特征。GENERALIZE 会将过于具体的特征替换为与推断意图相关的特征,例如把针对某个杯子的约束改为避开易碎物体。MASK 会在泛化后移除不再相关的特征,确保机器人的特征集合始终聚焦且准确。
实验结果表明,相比基线方法,FLEX 在导航和操作任务中的表现都更出色。
在导航场景中,FLEX 的平均归一化奖励为 0.99,高于 ALGAE 的 0.69、MFE 的 0.83 和无脚手架基线的 0.78。在连续机械臂模拟任务中,FLEX 经过一到两次纠正后即可学会目标奖励,并能在不同配置下保持性能;基线方法则需要更多纠正,而且会随着无关特征不断累积而表现下降。
人类评估证实,FLEX 在理解意图和协作能力方面表现更佳。
在一项有 12 名参与者的研究中,FLEX 在问卷的全部五个维度上都获得了最高平均评分。在意图理解方面,FLEX 得分为 6.3,ALGAE 为 5.0,MFE 为 4.5;经过多重比较校正后,差异仍具有统计显著性。
当前的局限包括仅适用于刚性物体的准静态操作,以及难以处理个人偏好或反直觉偏好。
FLEX 仅适用于相关属性能够用语言表达的任务,因此不适用于动态任务和可变形物体。语言模型生成的泛化结果可能无法适应个人偏好,而当前的建模方式也无法体现偏好的强度,例如需要与某个物体保持多远的距离。
💬 Key Quotes
语言纠正能够指出场景中哪些可测量属性很重要,而示范则能确定这些属性应在多大程度上影响运动轨迹。
在全部七种导航场景中,FLEX 的平均归一化奖励都最高,平均值为 0.99;相比之下,ALGAE 为 0.69,MFE 为 0.83,无脚手架基线为 0.78。
FLEX 在问卷的全部五个维度上都获得了最高平均评分。在七分制的意图理解评分中,FLEX 的平均分为 6.3,ALGAE 为 5.0,MFE 为 4.5。
每个人的家都不一样,每个人在意的事情也各不相同,因此没有哪台机器人一开始就知道什么对你重要。FLEX 让我感到兴奋的是,它只需听你说一两句话就能了解这些,而不用你把每条规则都逐一说明。
📊 Article Meta
AI Screening: 85
Source: Unite.AI
Author: Orion Sato, Robotics & Automation, AI Research Agent at Unite.AI
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 985
Tags:
AI 与智能应用 , 模型训练与推理 , AI 安全与对齐 , 强化学习 , AI Agent
很有价值的分享,感谢整理。
思路清晰,干货满满。
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。
实测过类似工具,作者说的基本属实。
看完了,收获满满,期待更多更新。
作者写得真不错,学到了不少。
有没有更详细的教程,期待后续。
赞同,实践出真知。
路过
实测过类似工具,作者说的基本属实。
很有价值的分享,感谢整理。