克雷西发自凹非寺
量子位公众号 QbitAI
斯坦福的 ALOHA 家务机器人团队，发布了最新研究成果——
项目名为 Yell At Your Robot（简称 YAY），有了它，机器人的“翻车”动作，只要喊句话就能纠正了！
而且机器人可以随着人类的喊话动态提升动作水平、即时调整策略，并根据反馈持续自我改进。
比如在这个场景中，机器人没能完成系统设定的“把海绵放入袋子”的任务。
这时研究者直接朝它喊话，“用海绵把袋子撑得再开一些”，之后就一下子成功了。
而且，这些纠正的指令还会被系统记录下来，成为训练数据，用于进一步提高机器人的后续表现。
有网友看了说，既然已经能朝着机器人喊话了，那汽车是不是也快点安排上，还在线点名特斯拉和其自动驾驶软件总监 Ashok Elluswamy。
成果发布后，前谷歌机器人高级研究员 Eric Jang，前 DeepMind 研究员、斯坦福客座教授 Karol Hausman 等一众大佬也纷纷表示了肯定和赞许。
那么，用喊话调整的机器人，都能实现什么样的动作呢？
喊话就能发号施令
利用 YAY 技术调教后，机器人以更高的成功率挑战了物品装袋、水果混合和洗盘子这三项复杂任务。
这三种任务的特点是都需要两只手分别完成不同的动作，其中一只手要稳定地拿住容器并根据需要调整姿态，另一只手则需要准确定位目标位置并完成指令，而且过程中还涉及海绵这种软性物体，拿捏的力度也是一门学问。
以打包装袋这个任务为例，机器人在全自主执行的过程中会遇到各种各样的困难，但通过喊话就能见招拆招。
只见机器人在将装袋的过程中不小心把海绵掉落了下来，然后便无法再次捡起。
这时，开发者直接朝它喊话，口令就是简单的“往我这边挪一挪，然后往左”。
当按照指令做出动作后，第一次还是没成功，但机器人记住了“往左”这个指令，再次左移之后便成功把海绵捡起来了。
但紧接着就出现了新的困难——袋子的口被卡住了。
这时只要告诉它再把袋子打开一点点，机器人就“心领神会”，调整出了一系列后续动作，并最终成功完成任务。
而且不只是能纠正错误，任务的细节也能通过喊话实时调整，比如在装糖的任务中，开发者觉得机器人拿的糖有点多了，只要喊出“少一点”，机器人就会将一部分糖果倒回盒子。
进一步地，人类发出的这些指令还会被系统记录并用作微调，以提高机器人的后续表现。
比如在刷盘子这项任务中，经过微调之后的机器人清洁力度更强，范围也变大了。
统计数据表明，机器人在经历这种微调之后，平均任务成功率提高了 20%，如果继续加入喊话指令还能继续提高。
而且这样的指令-微调过程可以迭代进行，每迭代一次机器人的表现都能有所提升。
那么，YAY 具体是如何实现的呢？
人类教诲“铭记在心”
架构上，整个 YAY 系统主要由高级策略和低级策略这两个部分组成。
其中高级策略负责生成指导低级策略的语言指令，低级策略则用于执行具体动作。
具体来说，高级策略将摄像头捕捉到的视觉信息编码，与相关知识结合，然后由 Transformer 生成包含当前动作描述、未来动作预测等内容的指令。
而低级策略接收到语言指令后，会解析这些指令中的关键词，并映射到机器人关节的目标位置或运动轨迹。
同时，YAY 系统引入了实时的语言纠正机制，人类的口头命令优先级最高——经识别后，直接传递给低级策略用于执行。
且在这个过程中命令会被系统记录并用于微调高级策略——通过学习人类提供的纠正性反馈，逐渐减少对即时口头纠正的依赖，从而提高长期任务的自主成功率。
在完成基础训练并已经在真实环境中部署后，系统仍然可以继续收集指令信息，不断地从反馈中学习并进行自我改进。
作者简介
本项目的第一作者是斯坦福大学的学生研究员Lucy X. Shi，2019 年毕业于人大附中后进入南加州大学就读计算机科学专业。
其间，Lucy 曾到英伟达实习研究多模态大模型，并曾与知名 AI 学者 Jim Fan 博士合作。
她的论文曾连续两年被机器人顶会 CoRL 收录，还入选过 NeurIPS，本人还被 DeepMind 邀请发表过演讲。
Lucy 的导师 Chelsea Finn 是斯坦福计算机科学和电气工程系助理教授，谷歌学术论文引用数超 4.7 万，此前还在 Google Brain 工作过一段时间。
包括本项目在内，在 ALOHA 团队发表的一系列论文当中，Finn 总是作为通讯作者出现。
此外，ALOHA 团队的 Tony Z. Zhao、Sergey Levine 等研究人员，也是本文的共同作者。
论文地址：
