引言

机器人技术在现代社会中扮演着重要的角色，从双十一快递速度的提升到救援行动、太空探索和外科手术，机器人都发挥了重要作用。为了让机器人更好地服务于人类，智能技术变得愈发重要。斯坦福大学和谷歌研究院的切尔西·芬恩为我们介绍了面向机器人的机器学习。

机器人学习的核心内容

基本知识与模拟学习

物体分类属于监督学习任务，适用于独立同分布的数据，因此能获得较好的结果。然而，物体生产则是一项序列决策任务，决策会影响后续步骤的结果。模拟学习，也称为行为克隆，虽然相对简单，但需要人类的监督信息，并且其上限受限于人类的表现。此外，由于累积误差的存在，这种学习方法可能导致结果出现显著偏差。

基于模型的强化学习

基于模型的强化学习有几种实现方式： 1. 随机采样：动态训练的优点在于简单，但容易受到分布不匹配问题的影响。 2. 迭代采样：逐步优化模型，解决了分布不匹配的问题。 3. 使用MPC迭代采样：这种方法对小模型的错误具有鲁棒性，但计算复杂度较高。

输入为图片的基于模型的强化学习

当反馈信号为高维数据（如图像）时，基于模型的强化学习主要有两种方法： 1. 隐空间学习：学习反馈信号的表示，并在隐空间中执行基于模型的强化学习。常用的方法包括基于概率的方法和结构化方法（空间或以物体为中心的结构化表示）。 2. 直接在观察空间学习：通过深度学习预测可能的反馈信号（如视频），然后将其与实际反馈信号进行比较，以最小化差异。

机器人学习面临的挑战

机器人学习面临的主要挑战包括理解和转化复杂的命令、适应新环境以及从大量数据中高效学习。

结语

为了获取完整的教程PPT，您可以在后台私信回复“RML”。

关注我们

请关注清华-青岛数据科学研究院的官方微信公众号“THU数据派”及其姊妹号“数据派THU”，获取更多讲座福利及优质内容。