探索低数据集下的全能机器人：RoboAgent的创新之路

在追求构建能够适应多样环境、操纵各种物体的机器人领域，一直以来存在着一个看似遥不可及的目标。这主要是由于缺乏丰富的多样化数据集，难以训练出能够掌握广泛技能的智能体，同时也缺少能够生成这类数据集的通用平台。然而，来自CMU和Meta AI的研究人员历时两年，成功研发出了一款名为RoboAgent的通用型机器人代理，旨在解决这一挑战。

RoboAgent的核心架构与模块化设计

RoboAgent由四个主要模块构成，它们协同工作，共同推动了机器人的全能发展：

1. RoboPen：作为分布式机器人基础设施的核心，RoboPen具备长时运行能力，为机器人提供稳定的工作环境。
2. RoboHive：一个集成框架，旨在机器人在模拟与现实世界之间进行学习时，提供统一的操作环境。
3. RoboSet：一个高质量的数据集，涵盖了多种场景下使用日常物品的多样性技能。通过将厨房活动分解为不同子任务，RoboSet实现了对常见拾取-放置技能、接触丰富的技能（如擦拭、盖盖子）以及涉及关节物体的技能的全面覆盖。
4. MT-ACT：一种高效的语言条件多任务离线模仿学习框架，通过在现有机器人经验基础上创建多样的语义增强集合，扩大了离线数据集。同时，MT-ACT采用了创新的策略架构和高效的动作表示方法，即使在数据量有限的情况下，也能学习出性能优秀的策略。

RoboSet：构建全能技能库的关键

RoboSet数据集的构建，是RoboAgent实现全能技能的基础。相较于其他数据集，RoboSet仅包含了7,500条轨迹，但通过精心设计，它覆盖了12种独特技能，涵盖广泛的日常生活活动。数据的收集方法巧妙地将厨房活动细分为不同的子任务，确保了数据的多样性和实用性。

MT-ACT：多任务动作分块Transformer

RoboAgent的成功，得益于其在低数据集环境下学习通用策略的关键洞察：

• 语义增强：通过将世界先验知识融入RoboSet数据集中，RoboAgent能够有效利用已有信息，避免了额外的人力和机器人成本。
• 高效策略表示：在高度多模态的数据集上，MT-ACT的策略表示方法不仅提升了样本效率，而且在避免过拟合的同时，显著提高了学习的灵活性和泛化能力。

实验成果：验证RoboAgent的能力

实验结果显示，RoboAgent在样本效率、泛化能力和可扩展性方面均表现出色：

• 样本效率：RoboAgent的MT-ACT策略表示优于其他模仿学习架构，尤其在低数据集情况下，展现了显著的学习优势。
• 泛化能力：在不同泛化层面上，RoboAgent展现出优异的表现，尤其是在复杂技能组合（L3）上的性能提升尤为显著。
• 可扩展性：随着语义增强级别的增加，RoboAgent在所有泛化级别上的性能均有显著提升，特别是面对更难任务时，性能提升更为明显。
• 多活动展示：RoboAgent在多项技能活动中的演示，进一步验证了其在不同场景下的应用潜力和全能性。

综上所述，RoboAgent不仅在技术上实现了突破，也为构建全能型机器人提供了新的思路和实践路径，标志着机器人智能领域向着更加灵活、适应性强的方向迈进了一步。