在机器学习领域,存在一个被称为“黑匣子”的问题,研究者往往不清楚模型究竟是如何运行并做出决策的。这也是他们一直想要解开的谜题之一。
当地时间4月14日,非营利组织OpenAI发布了一款名为“显微镜”(Microscope)的神经元可视化工具。这款工具涵盖了目前流行的九种神经网络。正如其名所示,“显微镜”能像实验室里的显微镜一样,帮助人工智能研究人员更好地了解那些包含成千上万神经元的神经网络结构和行为。
OpenAI成立于2015年底,是一家致力于促进和发展友好型人工智能的非营利机构,旨在通过这一技术使全人类受益。OpenAI的创始成员中包括著名的硅谷企业家马斯克。
OpenAI在其官方博客上提到,“显微镜”对几种常见的模型进行了可视化处理,包括每个重要层和神经元。这有助于研究人员进一步探索神经网络的可解释性。“显微镜”使得分析神经网络内部特征变得更加便捷,也为研究者提供了深入了解这些复杂系统的机会。
“显微镜”由一系列“节点”图构成,这些图通过“边”相互连接。每个操作包含数百个“单元”,类似于生物神经元。在机器学习和认知科学领域,神经网络是一种模仿生物神经网络结构和功能的数学模型。神经网络通过大量人工神经元协同工作进行计算。在机器学习中,神经元的作用是作为数学函数的载体,负责对输入的数据应用特定函数并生成输出结果。
“显微镜”所包含的初始模型主要是机器学习领域内的重要且经过广泛研究的计算机视觉模型。例如,2012年ImageNet竞赛的冠军AlexNet,该模型已被引用超过5万次;还有2014年的ImageNet获胜者GoogleNet,以及ResNet v2。OpenAI表示,每种模型的可视化都包含了一些示例图像,这些图像可以在OpenAI Lucid库中找到,并且可以在Creative Commons许可下自由使用。
OpenAI表示:“我们希望所有想了解神经网络工作原理的人都能使用这个工具。该工具的主要价值在于提供持久的共享成果,从而促进对这些模型的研究。我们还希望那些具有相关专业知识的研究人员,比如神经科学家,能够轻松使用这些模型,并从中获得有价值的见解。”
除了“显微镜”的神经元可视化工具外,近年来,机器学习领域还有一些尝试通过可视化技术来解释模型的运作机制。例如,Facebook在去年秋天推出了Captum,利用可视化技术来解析机器学习模型的决策过程。此外,2019年3月,OpenAI和Google还共同发布了激活地图集技术,用于可视化机器学习算法的决策过程。