改写后的内容

本文探讨了技术和哲学上的问题，主要提出了两个观点：首先，我对可解释性高的机器学习模型和高风险决策中的黑匣子模型之间的差异进行了分析，以及为什么前者更为有效；其次，本文提供了创建真实可解释模型所需技术的重要参考。

在医疗和刑事司法领域，越来越多的应用场景正在将机器学习（ML）用于对人类生活产生重大影响的高风险预测。然而，缺乏透明性和可预测性的模型可能会带来严重的后果。

1. 定义术语

一个模型可以被视为黑匣子，原因可能有两种：（a）模型计算的功能过于复杂，以至于任何人无法理解；或者（b）尽管模型本身可能很简单，但其内部细节是专有的，无法验证。

在可解释的机器学习中，我们利用复杂的黑匣子模型（例如深度神经网络DNN）进行预测，并使用另一个（预先）模型来解释第一个模型的工作原理。LIME就是一个典型的例子，它探索复杂模型的局部区域以发现决策边界。

一个可解释的模型是指可以直接检验和由人类专家解释的预测模型。可解释性是一个特定领域的概念，因此无法有一个通用的定义。然而，通常情况下，可解释的机器学习模型受到模型方式的限制，使其对特定的人有用，或者符合领域的结构知识，如单调性或物理约束。

虽然缺乏明确的定义，但越来越多的文献提出了可能是可解释的算法。似乎我们可以得出以下结论：要么是（1）可解释性的定义是通用的，但没有人愿意用书面形式表达它；或者（2）“可解释性”的定义不明确，因此关于机器学习模型的可解释性实际上是科学上的挑战。关于模型可解释性的文献研究显示，后者更符合实际情况。关于模型可解释性的目的和方法的多样性表明，可解释性不是一个单一的概念，而是一组需要分别讨论的不同概念。

2. 黑匣子模型的解释并不能真正解释

对于为黑匣子模型的输入提供解释有很多研究。鲁丁认为这种方法从根本上是有缺陷的。她的论点的核心在于观察到，即席解释只是对黑匣子模型所做事情的“猜测”：

解释一定是错误的。它们不可能完全忠实于原始模型的计算结果。如果解释完全忠实于原始模型的计算结果，则该解释将等于原始模型，并且首先不需要解释的就是原始模型。

甚至“解释”这个词也有问题，因为我们并没有真正描述原始模型的实际作用。例如，COMPAS（更正犯罪管理概况）的例子就体现了这种区别。由ProPublica创建的COMPAS线性解释模型（取决于种族）被用来批评COMPAS（这是一个黑匣子）依赖种族。但我们并不知道COMPAS是否具有种族特征（尽管它可能包含相关变量）。

让我们停止将近似值称为黑盒模型预测的解释。对于没有明确使用种族的模型，会自动解释为“此模型预测您是黑人并将您预测为目标对象”，而这并不是模型实际应该做的事情。

在图像空间中，显著性地图可以帮助我们了解网络在看什么，但它们也不能真正告诉我们网络在看什么。许多不同的类别的显著性地图可能非常相似。在下面的示例中，基于显著性的“解释”看起来非常相似，原因是模型为何认为图像是嘶哑的，以及为什么认为图像是长笛的！

由于黑匣子的解释并不能真正解释问题，识别黑匣子模型并对其进行缺陷排除可能非常困难。

3. 反对可解释模型的争论

考虑到黑匣子模型的问题及其解释性，为什么黑匣子模型仍然如此流行？尽管深度学习模型取得了巨大成功，但这并不意味着更复杂的模型总是更好。

人们普遍认为，越复杂的模型越准确，这意味着为了实现最佳的预测效果，需要一个复杂的黑匣子。然而，通常情况下并非如此，尤其是在数据结构化的情况下，具有良好的表示能力的简单模型往往更有意义。

由于相信复杂性是好的，这也是一个普遍的误解，即如果你想要良好的性能，就必须牺牲可解释性：

在准确性和可解释性之间需要权衡的信心，导致许多研究人员放弃了试图产生可解释模型的努力。现在，研究人员已经接受了深度学习方面的培训，但没有接受可解释的机器学习方面的培训，这使得问题更加复杂。

根据罗生门集的说法，如果我们尝试，我们往往可以找到一个解释模型：鉴于数据允许一组相当准确的预测模型的存在，它往往包含至少一个可解释的模型。

这给了我一个有趣的方法，即首先可以在没有任何特征工程的情况下尝试一种相对较快的深度学习方法。如果产生了合理的结果，我们知道数据允许存在相当准确的预测模型，并且我们可以花费时间寻找一种可以解释的东西。

对于没有混淆、残缺和干净的数据，使用黑匣子式的机器学习方法比使用普通模型更容易解决问题。然而，在高风险决策中，分析师的时间和模型运行的时间比使用有缺陷或过于复杂的模型的成本要低。

4. 创建可解释的模型

在寻找可解释的机器学习模型时，常常会遇到三个常见的挑战：第一个挑战是如何构建最佳逻辑模型，第二个挑战是如何构建最佳（稀疏）评分系统，第三个挑战是如何定义特定领域中的可解释性意味着什么。

4.1 逻辑模型

逻辑模型只是一系列if-then-else语句！这些都是分析师手动构建的，已经有很长时间了。对于给定的精度水平，理想的逻辑模型将具有最多数量的分支。CORELS是一种旨在寻找此类最佳逻辑模型的机器学习系统。下面是一个示例输入模型，其对佛罗里达州Broward County的数据具有与黑盒COMPAS模型相似的准确性。

请注意，图形标题将其称为“机器学习模型”。在我看来，这个术语似乎不太正确。这是一个机器学习模型产生的模型，但IF-THEN-ELSE语句本身并不是一个机器学习模型。然而，CORELS看起来非常有趣，我们将在下一版《晨报》中对其进行更深入的研究。

4.2 计分系统

计分系统在医学中广泛使用。我们对最佳评分系统感兴趣，这些评分系统是机器学习模型的输入，但看起来它们可能是人为产生的。例如：

该模型实际上是RiskSLIM生成的，RiskSLIM是Risk-Supersparse-Linear-Integer-Models算法。

对于CORELS和RiskSLIM模型，要记住的关键是，虽然它们看起来简单且易于解释，但它们给出的结果具有高度的竞争准确性。让事情看起来这么简单并不容易！我当然知道我愿意部署哪种模型并解决给定的问题。

5. 可解释模型的重要性

无论您建立模型的最终目的是什么，您都会有受众用户，都需要向受众用户提供可解释或可理解、可关联的模型思路。数据和机器学习模型的可解释性是数据科学“有用性”中的关键方面之一，它确保模型与您想要解决的问题保持一致。

作为一名数据分析师，我认为注重机器学习模型的可解释性主要有以下几个原因：

1. 判别并减轻偏见
2. 考虑问题的上下文
3. 改进泛化能力和性能
4. 道德和法律原因

机器学习模型的可解释性越强，人们就越容易理解为什么做出某些决策或预测。其重要性体现在建模阶段，帮助开发人员了解模型，比较选择模型，必要时优化调整模型；在运营阶段向业务方解释模型的外部机制，并解释模型的结果。

6. 针对特定领域的可解释性设计

即使对于机器学习的经典领域，也需要构建潜在的数据表示方式，也可能存在与黑匣子模型一样准确的可解释模型。

关键是要在模型设计本身中考虑可解释性。例如，如果数据分析师向您解释为什么以他们的方式对图像进行分类，他们可能会指出图像在推理过程中很重要的不同部分（类似于显著性），并尝试解释原因。Chen，Li等人将这个想法引入网络设计。建立一个模型，该模型在训练过程中学习用作班级原型的图像部分，然后在测试过程中找到与所学原型相似的部分测试图像。

这些解释是模型的实践计算，而不是预先解释。该网络之所以称为“看起来像这样”，是因为其推理过程会考虑图像的“这个”部分是否看起来像“那个”原型。

图5表明左侧的测试图片与训练示例的原型部分。要分类的测试图像在左边，最相似的原型在中间一栏中，显示测试图像哪一部分与原型相似的热图是在左边。我们在右侧提供了测试图像的副本，以便更容易查看鸟类的哪一部分。热图指的是原型与测试图像的相似性决定了预测的图片的类别标签。在此，图像被预测为粘土色的麻雀。顶级原型似乎将鸟的头部与粘土麻雀的原型头部进行比较，第二个原型认为鸟的喉咙，第三个原型看羽毛，最后一个原型看腹部和腿。测试图片 从50开始。 来自51 52，53. 54的原型。图像由Alina Barnett构建。

7. 潜在的政策更改

本文的第四节讨论了潜在的政策更改，以鼓励人们采用可解释的模型（在高风险状况下尤其需要）。

让我们考虑一个可能存在的要求，即在存在具有相同功能水平的可解释模型时，不应选择黑匣子机器学习模型进行某些高风险的决策。

这听起来是一个值得实现的目标，但用词来说，很难证明不存在可解释的模型。因此，也许需要要求公司能够提供证据，证明他们已经努力寻找可解释的模型……

思考第二个建议，该建议比下面的建议要弱，但可能会产生相似的效果。让我们考虑是否有要求引入黑匣子模型的组织报告可解释的建模方法的准确性。

如果遵循此过程，那么如果作者的经验可以满足，我们很可能会看到大量部署的黑匣子机器学习模型：

在某些应用程序领域，可能需要一个完整的黑匣子来进行高风险决策。到目前为止，虽然我已在医疗保健和刑事司法、动力可靠性和财务风险评估方面进行了许多应用程序开发，但我尚未遇到过这样的应用程序。

希望以上内容能为您提供有价值的见解。更多干货内容将持续分享给大家，请继续关注我们吧！

（注：文中所有图片及图片标签已删除，仅保留段落标记。）