基于图的机器学习研究趋势综述

本文由德国Fraunhofer协会IAIS研究所的研究员Michael Galkin撰写，主要探讨了图嵌入技术在对话AI中的应用。近年来，图的机器学习已成为各大人工智能会议的热门话题，其中包括NeurIPS 2019。在本次会议上，共有100多篇与图相关的论文，以及三个关于图的研讨会：Graph Representation Learning、Knowledge Representation & Reasoning Meets Machine Learning (KR2ML)和Conversational AI。接下来，我们将详细探讨几个关键领域。

1. 双曲图嵌入

传统嵌入算法通常在欧氏空间中进行，但这种方法需要较高的维度来提升表示能力，而双曲空间提供了更高效的表示方法。双曲嵌入能够在较低维度下更好地表示层次结构，特别是在Gromov双曲性较低的数据集上表现尤为出色。例如，双曲图卷积神经网络（Hyperbolic Graph Convolutional Neural Networks）和双曲图神经网络（Hyperbolic Graph Neural Networks）均展示了双曲空间的优势。另一篇论文《多关系庞加莱图嵌入》（Multi-relational Poincaré Graph Embeddings）则利用双曲几何优化知识图嵌入模型，取得了显著效果。双曲空间模型不仅节省了存储空间，还在准确率方面表现出色。

2. 逻辑和知识图嵌入

知识图嵌入模型每年都在不断进化，追求更高的表现。群论角度的研究表明，复空间可以表示阿贝尔群。而四元数KG嵌入模型（Quaternion Knowledge Graph Embeddings）则通过引入四元数来扩展复数空间，提升了模型的表达能力。此外，《量子知识嵌入》（Quantum Embedding of Knowledge for Reasoning）采用量子逻辑来嵌入知识图，虽然不涉及量子计算，但提供了新的视角。《图神经网络的逻辑表达》（Logical Expressiveness of Graph Neural Networks）研究了图神经网络的逻辑表达能力，发现聚合组合神经网络（AC-GNN）可以捕获一阶逻辑的两个变量片段（FOC_2）。《逻辑嵌入网络》（Embedding Symbolic Knowledge into Deep Networks）则通过图卷积网络将逻辑规则嵌入深度网络，显著提升了视觉关系预测的性能。

3. 马尔科夫逻辑网络的发展

马尔科夫逻辑网络（Markov Logic Network）旨在结合一阶逻辑规则和概率图模型。然而，直接应用MLN面临计算复杂度和可扩展性问题。近年来，研究人员通过神经网络改进MLN，提出了多种新架构。例如，《概率逻辑神经网络》（Probabilistic Logic Neural Networks）将知识图嵌入和逻辑规则相结合，利用变分EM算法训练模型。《神经马尔科夫逻辑网络》（Neural Markov Logic Networks）则提出了一种无需显式逻辑规则的模型，通过神经势能函数编码规则。《GNN与MLN在逻辑推理中的比较》（Can Graph Neural Networks Help Logic Reasoning?）探讨了GNN与MLN在逻辑推理中的表现，提出了一种新的ExpressGNN架构来解决GNN无法处理后向参数化的问题。

4. 对话AI与图

对话AI与图的结合在NeurIPS的研讨会上备受关注。《多领域对话状态跟踪》（Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering）提出了一种基于问答的对话状态跟踪模型，通过动态知识图增强问答系统。《神经助理》（Neural Assistant）则利用Transformer架构结合对话历史和知识库信息，提高了对话系统的性能。《WikiSQL语义解析》（A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization）提出了一种基于BERT的语义解析模型，显著提升了SQL查询生成的准确性。

5. 图神经网络的预训练和理解

预训练图神经网络（Pre-training Graph Neural Networks）框架借鉴了预训练语言模型的思路，通过在大规模图数据上进行预训练，显著提升了节点和图级别的任务表现。《图Transformer网络》（Graph Transformer Networks）为异质图设计了一种新的图Transformer架构，通过生成元路径来增强模型的表达能力。《图神经网络解释器》（GNNExplainer: Generating Explanations for Graph Neural Networks）则提供了一种模型相关的解释框架，帮助理解和解释图神经网络的预测结果。

结论

图嵌入技术在多个领域的应用已经取得显著进展，尤其是在对话AI和知识图嵌入方面。随着研究的深入，图神经网络的可解释性和预训练技术也将进一步发展，推动图机器学习技术的进步。未来的研究将继续探索图嵌入技术在更多领域的应用，带来更多实用和高效的解决方案。