2019年是图机器学习(GML)迅速发展的一年,特别是在学术会议上,图神经网络(GNN)相关的研讨会总是座无虚席。
图机器学习的热度在2019年爆发,主要是因为尽管深度学习在欧几里得空间的数据处理方面取得了巨大成功,但在实际应用场景中,数据往往来自非欧几里得空间。阿里达摩院曾指出,单纯依靠深度学习已经不足以解决所有问题,而结合深度学习的图研究有望弥补这些不足,特别是在关系推理和可解释性方面。
在过去一年中,图机器学习领域经历了快速的发展,这可以从各大顶会上图机器学习的热门趋势中看出。那么,在2020年,图机器学习是否还会继续火热?又会有哪些新的发展趋势?
ICLR 2020会议将于4月份在埃塞俄比亚举行,这是一个很好的窗口,可以展示图机器学习领域的最新进展。ICLR 2020共有150篇论文与图机器学习相关,其中约三分之一的论文被录用,这表明图机器学习依然受到广泛关注。
接下来,我们将从几个方面探讨2020年图机器学习的趋势:
在图神经网络的实际应用中,理论研究不断推进。例如,洛桑联邦理工学院的Andreas Loukas团队的研究表明,节点嵌入的维度与网络深度的乘积应该与图的大小成反比。然而,目前的许多实现难以满足这一条件,因此设计有效的GNN仍然是一个挑战。
其他重要研究还包括Oono等人对GNN表达能力的研究,以及Hou等人对GNN信息利用效率的评估。这些研究有助于我们更好地理解GNN的工作原理,并为未来的研究提供方向。
在过去一年中,GNN已经在多个实际应用中展现出了强大的能力,如程序错误检测、智商测试、TensorFlow计算图优化、分子生成以及对话系统的任务生成等。
例如,HOPPITY项目展示了如何使用GNN来检测和修复JavaScript代码中的错误。LambdaNet项目则展示了如何利用GNN来推断编程语言中的变量类型。这些应用展示了GNN在不同领域的潜力。
在知识图谱领域,研究人员探索了如何利用GNN来进行推理。例如,香港大学Hongyu Ren团队提出了一种名为Query2Box的方法,该方法将查询嵌入到隐空间中,而不是作为单一的点。这种方法可以更自然地支持交集和并集操作,从而提高查询的准确性。
此外,其他研究团队也在探索如何利用GNN来处理复杂的逻辑查询和数字规则,这些研究有助于提升知识图谱的实用性和灵活性。
图嵌入一直是图机器学习的核心课题之一。今年出现了一些新的框架,如Cornell大学的Chenhui Deng团队提出的GraphZoom方法。GraphZoom通过多层谱方法对图进行简化,从而加快节点嵌入的计算速度,并提高了准确性。
另一项研究来自比萨大学的Federico Errica团队,他们发现简单的基线模型在某些情况下可以与复杂的GNN模型相媲美,这提示我们需要重新审视现有的图分类方法。
以上是2020年图机器学习的主要趋势。通过这些研究,我们可以看到图机器学习在理论和应用上的不断进步。无论是理论研究还是实际应用,图机器学习都将继续发挥重要作用,并有望在未来带来更多的创新和发展。