图机器学习在2019年的火热及其2020年的趋势展望

2019年是图机器学习（GML）大放异彩的一年。各大学术会议上的图神经网络（GNN）研讨会总是座无虚席。尽管前几年深度学习在处理欧氏空间数据上取得了巨大成功，但在非欧氏空间的数据应用中，深度学习仍有局限性。阿里达摩院曾指出，结合深度学习的图研究将端到端学习与归纳推理相结合，有望解决一系列深度学习难以应对的问题，如关系推理和可解释性。

过去一年，图机器学习迅速发展，这一趋势在各大顶级会议上也有所体现。进入2020年后，图机器学习是否还会继续火热？又会有哪些新的研究趋势？

2020年图机器学习的研究趋势

1. GNN理论研究更加深入

图机器学习领域在理论研究方面取得了显著进展。图神经网络虽然已经广泛应用，但仍有许多提升空间。以下是一些重要的理论成果：

• 图神经网络的表达能力限制：洛桑联邦理工学院Andreas Loukas的研究表明，节点嵌入的维度和层数需要与图的大小成反比，才能有效处理图问题。然而，当前许多GNN实现尚未达到这一条件。此外，较大的网络在实践中可能并不适用，这引发了关于如何设计有效GNN的问题。

• 图神经网络的表达能力：Oono等人在论文中探讨了GNN在节点分类中的表达能力。研究表明，当层数增加时，GNN除了节点度和连通分量外，几乎无法学习其他内容。这揭示了GNN在节点分类中的局限性。

2. 新的应用场景不断涌现

图神经网络已经在多个实际应用场景中展示出了强大的能力，例如：

• 程序错误检测与修复：一篇论文介绍了一种利用GNN在JavaScript代码中检测和修复错误的方法。具体而言，通过将代码转换为抽象语法树，再利用GNN进行预处理和多轮图形编辑，最终修复错误。

• 类型推断：另一篇论文展示了如何利用GNN推断Python或TypeScript等语言的变量类型。通过构建类型依赖超图，并结合似然率进行预测，该方法为变量类型推断提供了新的思路。

• 智商测试：GNN还可以应用于智商测试，如瑞文测验（RPM）和图三段论（DS）。通过构建矩阵并利用前馈模型和ResNet模型进行预测，GNN能够有效完成这类任务。

3. 知识图谱的广泛应用

知识图谱作为一种结构化的知识表示方法，在图机器学习领域中越来越受到重视。知识图谱中的节点和边具有特定的意义，可以用来回答复杂问题。以下是几篇相关论文的亮点：

• Query2Box：斯坦福大学的研究人员提出了一种将查询嵌入到隐空间中的方法，而非单一的点。这种方法使得可以自然地执行交操作（即合取），但对于并操作（即析取）较为复杂。论文还提出了一种技巧，将析取查询转换为DNF形式，从而减少计算负担。

• 数字规则处理：卡内基梅隆大学的研究人员提出了一种处理数字实体和规则的方法。通过一种新颖的方法，他们证明在实践中不需要显式表示这些矩阵，从而有效地处理数字规则，降低了运行时间。

4. 图嵌入的新框架

图嵌入是图机器学习的重要组成部分，近年来出现了新的研究视角。以下是一些值得关注的工作：

• GraphZoom：康奈尔大学的研究人员提出了一种多层谱方法，可以改善图嵌入的速度和准确性。这种方法首先将原始图简化为更小的图，以便快速计算节点嵌入，然后再恢复到原始图。实验表明，GraphZoom相比其他方法实现了显著的速度提升和准确性提高。

• 图分类模型的公平比较：比萨大学的研究人员对图分类模型进行了重新评估，发现一个简单的基线模型——仅使用聚合节点特征而不考虑图的拓扑结构——就能取得与最先进的GNN相当的效果。这表明图的拓扑结构在某些情况下并不是决定性的因素。

总结

2020年，图机器学习将继续保持热度，新的应用场景不断涌现，知识图谱的应用范围也将不断扩大。同时，理论研究将进一步深入，新的图嵌入框架也将不断出现，推动整个领域的进步和发展。