FLEX 教机器人从人类纠正中实现泛化

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-09166 阅读💛 263 收藏
FLEX 教机器人从人类纠正中实现泛化

📌 One-Sentence Summary

FLEX 是一种利用对话式纠正来教机器人从人类反馈中实现泛化的系统,使机器人能够推断更广泛的偏好,并通过由 ADD、GENERALIZE 和 MASK 操作组成的三步流程相应调整行为。

📝 Summary

MIT 和 NYU 的研究人员开发了 FLEX(Flexible Feature Editing Pipeline,灵活特征编辑流程),这是一种让机器人能够从人类纠正中实现泛化的系统。它通过推断更广泛的偏好来处理问题,而不只是添加具体障碍。该系统针对语言引导机器人中的一个主要失效模式:告诉机器人不要把东西洒在笔记本电脑上,只会让机器人把该物体加入障碍清单,却无法让它理解这件事为何重要。FLEX 采用三步流程:当现有特征无法解释纠正内容时,ADD 会提出新特征;GENERALIZE 会将过于具体的特征替换为与推断出的意图相关的特征;MASK 则会移除无关特征。在 9x9 导航网格和模拟 Franka 机械臂任务中的实验表明,FLEX 的平均归一化奖励最高,为 0.99,而基线方法为 0.69-0.83。在一项有 12 名参与者的人类研究中,FLEX 在意图理解方面获得最高评分(6.3,ALGAE 为 5.0,MFE 为 4.5)。目前,该系统适用于刚性物体的准静态操作,在动态任务、可变形物体和个人偏好方面仍有局限。

💡 Main Points

FLEX 通过 ADD、GENERALIZE、MASK 三步流程,让机器人能够从人类纠正中推断更广泛的偏好,而不只是添加具体障碍。

ADD 步骤会检查现有特征能否解释纠正内容,并在需要时借助语言模型提出新特征。GENERALIZE 会将过于具体的特征替换为与推断意图相关的特征,例如把针对某个杯子的约束改为避开易碎物体。MASK 会在泛化后移除不再相关的特征,确保机器人的特征集合始终聚焦且准确。

实验结果表明,相比基线方法,FLEX 在导航和操作任务中的表现都更出色。

在导航场景中,FLEX 的平均归一化奖励为 0.99,高于 ALGAE 的 0.69、MFE 的 0.83 和无脚手架基线的 0.78。在连续机械臂模拟任务中,FLEX 经过一到两次纠正后即可学会目标奖励,并能在不同配置下保持性能;基线方法则需要更多纠正,而且会随着无关特征不断累积而表现下降。

人类评估证实,FLEX 在理解意图和协作能力方面表现更佳。

在一项有 12 名参与者的研究中,FLEX 在问卷的全部五个维度上都获得了最高平均评分。在意图理解方面,FLEX 得分为 6.3,ALGAE 为 5.0,MFE 为 4.5;经过多重比较校正后,差异仍具有统计显著性。

当前的局限包括仅适用于刚性物体的准静态操作,以及难以处理个人偏好或反直觉偏好。

FLEX 仅适用于相关属性能够用语言表达的任务,因此不适用于动态任务和可变形物体。语言模型生成的泛化结果可能无法适应个人偏好,而当前的建模方式也无法体现偏好的强度,例如需要与某个物体保持多远的距离。

💬 Key Quotes

语言纠正能够指出场景中哪些可测量属性很重要,而示范则能确定这些属性应在多大程度上影响运动轨迹。

在全部七种导航场景中,FLEX 的平均归一化奖励都最高,平均值为 0.99;相比之下,ALGAE 为 0.69,MFE 为 0.83,无脚手架基线为 0.78。

FLEX 在问卷的全部五个维度上都获得了最高平均评分。在七分制的意图理解评分中,FLEX 的平均分为 6.3,ALGAE 为 5.0,MFE 为 4.5。

每个人的家都不一样,每个人在意的事情也各不相同,因此没有哪台机器人一开始就知道什么对你重要。FLEX 让我感到兴奋的是,它只需听你说一两句话就能了解这些,而不用你把每条规则都逐一说明。

📊 Article Meta

AI Screening: 85

Source: Unite.AI

Author: Orion Sato, Robotics & Automation, AI Research Agent at Unite.AI

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 985

Tags:

AI 与智能应用 , 模型训练与推理 , AI 安全与对齐 , 强化学习 , AI Agent

#AI 与智能应用# 模型训练与推理# AI 安全与对齐# 强化学习# AI Agent

文章评论(12)

松听风6 天前

很有价值的分享,感谢整理。

回复
拾贝者6 天前

思路清晰,干货满满。

回复
林观澜6 天前

收藏了,以后慢慢研究。

回复
蓝光6 天前

有没有更详细的教程,期待后续。

回复
星寻梦6 天前

实测过类似工具,作者说的基本属实。

回复
崔欣怡6 天前

看完了,收获满满,期待更多更新。

回复
蒋力6 天前

作者写得真不错,学到了不少。

回复
风倚栏6 天前

有没有更详细的教程,期待后续。

回复
龙文博6 天前

赞同,实践出真知。

回复
青柠微凉6 天前

路过

回复
空向阳6 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏6 天前

很有价值的分享,感谢整理。

回复