随着机器学习（ML）领域的不断发展，机器人在教育、引导、医疗等多个领域展现出巨大的潜力。然而，人们不仅关心机器人任务执行的精确性和效率，还越来越重视理解其决策过程，以便判断是否可以信任其答案。这正是可解释人工智能（XAI）研究的核心问题。

XAI 主要解决的问题是，某些机器学习模型如同黑盒子一般，给定输入后产生输出，但没有人能确切知道其决策依据和可靠性。例如，许多深度学习模型就是这样，如图 1 所示，输出结果缺乏解释性，使得使用者感到困惑，限制了其在实际任务中的广泛应用。

[align=center][attach]297645[/attach][/align] 图 1 当前的深度学习模型 [1]

为了提高机器学习模型的解释性和透明度，近年来学术界进行了广泛的探讨，提出了多种可解释的机器学习模型。这些模型不仅提供决策结果，还提供相应的解释，以增强用户信任和理解。如图 2 所示，模型在决策时给出解释，帮助用户更好地理解和信任其决策过程。

[align=center][attach]297646[/attach][/align] 图 2 可解释的机器学习模型 [1]

在机器学习模型中，通常需要权衡模型的准确性和复杂度。复杂度高的模型可能更准确，但解释性较差。因此，寻找既能保持较高准确度又能保证一定解释性的模型成为了研究的重点。图 3 展示了模型准确度与解释性的关系。

[align=center][attach]297647[/attach][/align] 图 3 模型性能与解释性之间的关系 [1]

随着人机交互的需求不断增加，可解释人工智能（XAI）引起了广泛关注。Sule Anjomshoae 等人于 2019 年将 XAI 分为数据驱动（data-driven）和目标驱动（goal-driven）两种类型。与此同时，英国曼彻斯特大学的 Cangelosi 教授和意大利的 Chella 团队不仅关注人类对机器解释的信任，还研究了机器对人类的信任模型，基于心理学的 ToM（心智理论）构建了一个认知模型。

[b]人对机器的信任[/b]

提供解释的能力是智能的一个标志，但哪种解释方式最能促进人类对机器的信任尚不清楚。朱松纯教授团队最近在《Science Robotics》杂志上提出了一个 GEP 集成框架，整合数据驱动的触觉模型和符号规划器，提供功能和机械解释。研究者设计了一个打开具有多种安全锁机制的药瓶的任务，并通过机器人在该任务上的表现对其进行了测试。框架如图 1 所示，主要分为演示、学习和评估三部分。

[align=center][attach]297648[/attach][/align] 图 1 GEP 总体框架 [4]

为了学习人类如何打开药瓶，演示部分采用了带有力传感器的触觉手套来捕捉打开药瓶时的姿态和力量。为了测试机器人的泛化能力，使用了与训练数据不同的瓶子。由于人类和机器人的操作方式不同，机器人需要模拟动作，而不是简单地复制人类的动作。这就需要用到触觉预测模型，如图 2 所示，该模型通过触觉手套和机器人末端执行器中的传感器收集数据，结合人类和机器人的信息，预测下一步的动作。

[align=center][attach]297649[/attach][/align] 图 2 触觉预测模型 [4]

由于打开药瓶是一种复杂的多步骤操作，符号表示有助于捕捉任务的必要约束。符号规划器用于编码任务执行序列的语义知识。通过结合符号规划器和触觉模型，可以实现最佳的机器人功能。实验结果显示，触觉模型和符号规划器的功能各有优势，但 GEP 组合规划器在所有情况下都能产生最佳性能。因此，结合符号规划器提供的长期任务结构和触觉模型提供的实时感知信息，可以达到最佳的机器人功能。

[b]机器对人的信任[/b]

另一个研究重点是如何提升机器人内部模型的信任度，但较少有人研究相反的情况。Cangelosi 等人基于心理学的 ToM（心智理论）提出了一种机器人认知模型，可以模拟机器人在不同情境下的“心理活动”。该模型结合了 ToM 和信任的各个方面，并用于重现范德比尔特实验。

该实验通过视频展示了不同年龄儿童对协助者和骗子的信任度差异。结果表明，只有 5 岁的儿童能够区分协助者和骗子，证明他们具备成熟的 ToM。该文利用人形机器人 Pepper 集成了基于 ToM 的认知和信任模型，并通过情形记忆系统支持重现该实验。机器人可以学会区分值得信任和不值得信任的信息源，并根据其互动调整信任行为。

实验中，机器人分别与 8 位交互者沟通，其中包括协助者和骗子。结果显示，一个常常被骗的机器人倾向于不信任初次遇到的人，而一个受到善待的机器人会尝试去信任，直到提出相反的证据。这种方法将原始模型集成到一个完整的机器人系统中，并扩展了情景记忆组件，使其能够应用过去的经历来发展个性，提高其认知能力和互动安全性。

[b]总结[/b]

可解释机器学习在机器人应用中主要体现在人机交互中，这两篇文章从不同角度和方法衡量和提高机器对人的信任与人对机器的信任。朱松纯教授团队的文章主要应用可解释性 AI 方法，使用户清晰地了解机器人的动作选择。通过 GEP 框架，该模型在一定程度上结合了人类的触觉力度，从而提高了学习和搜索的效率。但本文主要学习了一个单一任务，如何学习多个任务或归纳新的行为动作仍需进一步研究。

Cangelosi 等人的文章则巧妙地考虑了机器人“心理变化”的模拟。尽管目前任务较为简单，但可以应用类似蒙特卡洛的方法学习各种情况。然而，当任务变得更加复杂时，如何高效学习将成为下一步的研究方向。

机器对人的信任在实际应用中至关重要。在军事安全和医疗手术等领域，如果机器盲目信任操作者或医生的指令，可能会导致严重的后果。因此，如何平衡两者之间的关系仍需进一步研究。我们希望未来的人机协作能够更加安全、可靠，服务于大众。