轻松完成 700 多条指令、成功率达 97%！谷歌开源机器人领域 transformer

机器之心报道

编辑：杜伟、陈萍

谷歌机器人团队等在机器人领域构建了一个多任务 transformer 模型，显著改进了对新任务、环境和对象的零样本泛化。

我们知道，机器学习（ML）多个子领域（如 NLP 和 CV）的最新重大进展通过一种共享的通用方法实现，该方法充分利用大规模、多样化数据集以及有效吸收所有数据的表达模型。尽管已经有各种尝试将这种方法应用于机器人技术，但机器人还没能利用到高性能模型。

构成挑战的因素有几个。首先缺乏大规模和多样化机器人数据，这限制了模型吸收广泛机器人经验的能力。数据收集对于机器人技术来说成本高昂且具有挑战性，这是因为数据集管理需要工程量大的自主操作或者使用人类远程操作收集的演示。其次缺乏可以从此类数据集中学习并有效泛化的高表达性、可扩展且速度足够快的实时推理模型。

为了解决这些挑战，谷歌机器人团队等提出了 Robotics Transformer 1 ( RT-1 ) 。这是一种多任务模型，可以 tokenize 机器人的输入和输出动作，从而在运行时实现高效推理，使实时控制成为可能。

RT-1 模型在包含 130k 个 episode 的大型真实机器人数据集上进行训练，该数据集涵盖了 700 多项任务，使用 Everyday Robots ( EDR ) 的 13 台机器人在 17 个月内收集而成。数据集中展示的一组高级技能包括拾取和放置物品、打开和关闭抽屉、将物品放入和取出抽屉、将细长的物品直立放置、敲倒物体、拉出餐巾纸和打开罐子。

论文地址：https://robotics-transformer.github.io/assets/rt1.pdf

项目地址：https://github.com/google-research/robotics_transformer

该团队对模型和训练集中的许多设计选择进行了仔细评估和消融实验，分析了 tokenization、动作表示和数据集组合的影响。与现有技术相比，RT-1 可以显著改进对新任务、环境和对象的零样本泛化。RT-1 可以以 97% 的成功率执行 700 多个训练指令，并且可以泛化到新的任务、干扰因素和背景。

RT-1 架构、数据集和评估概览图。

实验和结果

为了更好地理解 RT-1 的泛化能力，该团队在三个基准上进行了实验：Gato、BC-Z（与 RT-1 参数量相同）和 BC-Z XL，并通过四个类别进行比较。

在所见到的任务上的表现；

在没见过任务上的表现：在训练集中，机器人的技能和对象是分开看到的，但以新颖的方式结合在一起；

鲁棒性：在有干扰（有 9 个干扰，此外还有遮挡情况）、改变背景（换个新厨房、光照不同等）上的任务表现；

长情景：在真实厨房中执行 SayCan 类型的自然语言指令。

RT-1 在四个类别的比较中都大大超过基线，表现出极强的泛化性和鲁棒性。

RT-1 与基线性能对比。

整合异构数据源

为了进一步挖掘 RT-1 的性能，该团队还将训练另一个机器人的数据用来训练 RT-1，目的有两个： ( 1 ) 测试模型在新数据上是否保持其在原始任务上的性能； ( 2 ) 观察模型在新的以及不同数据上泛化能力。

从多个机器人那里收集数据，用来训练 RT-1。

结果表明，RT-1 能够通过观察其他机器人的经验来获得新技能。特别是，当 RT-1 同时使用来自 Kuka bin-picking 数据和 EDR 数据进行训练时，准确率达到 39%。比仅使用 EDR 数据训练时的 22% 准确率提高了近 2 倍。

当 RT-1 仅在 Kuka bin-picking 数据上进行训练，然后在 EDR robot bin-picking 数据上评估时，准确率为 0。

SayCan 任务

RT-1 的高性能和泛化能力可以通过 SayCan 实现远距离、移动操作任务。SayCan 算法是谷歌在今年提出的，在这个算法中，谷歌让机器人充当语言模型的「手和眼睛」，而语言模型提供有关任务的高级语义知识。

该团队在两个真实的 Kitchen 中进行了评估，Kitchen2 构成了一个比 Kitchen1 更具挑战性的泛化场景。由结果可得，SayCan 与 RT-1 在 Kitchen1 中实现了 67% 的执行成功率，优于其他基线。在 Kitchen2 中，SayCan 与 Gato 以及 SayCan 与 BCZ 的性能下降，而 RT-1 没有出现明显的下降。

下面的视频展示了 PaLM-SayCan-RT1 在多个真实厨房中执行长期任务的示例。

参考链接：

https://ai.googleblog.com/2022/12/rt-1-robotics-transformer-for-real.html

基于 Amazon SageMaker JumpStart 的 AIGC 解决方案

Stability AI 推出的火爆 AIGC 领域的 Stable Diffusion 模型从开源之初便深受开发者欢迎。该公司于 11 月 24 日正式推出了 Stable Diffusion 的 2.0 版本，并在刚刚结束的亚马逊云科技 re:Invent 2022 大会上宣布其已选择亚马逊作为其首选云提供商，以帮助其开发和部署用于图像、语言、音频、视频和 3D 内容生成的新人工智能模型。

12 月 15 日，来自亚马逊云科技的嘉宾将直播分享「如何调用 SageMaker Jumpstart 预训练好的模型 " 一键 " 部署 Stable Diffusion v2 和 Bloom 模型」。

THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com