一、双曲图嵌入

传统嵌入算法通常在平坦的欧氏空间中学习嵌入向量，为提高表示能力，会采用高维向量（如50维至200维），向量间的距离则依据欧氏几何计算。相比之下，双曲嵌入算法利用庞加莱球面和双曲空间，将庞加莱球面视作连续的树结构，树根位于球心，分支和叶子靠近球面。这种方式在表示层次结构方面的能力更强，所需维数也更少。

然而，双曲网络的训练和优化依然面临挑战。尽管在2018年已有研究探讨了双曲神经网络的理论基础，2019年才真正实现了双曲几何与图结构的有效结合。以下是一些相关论文：

• 论文1：Hyperbolic Graph Convolutional Neural Networks

  论文链接：https://papers.nips.cc/paper/8733-hyperbolic-graph-convolutional-neural-networks.pdf

  开源地址：https://github.com/HazyResearch/hgcn

• 论文2：Hyperbolic Graph Neural Networks

  论文链接：https://papers.nips.cc/paper/9033-hyperbolic-graph-neural-networks.pdf

  开源地址：https://github.com/facebookresearch/hgnn

这两篇论文均旨在结合双曲空间的优势与图神经网络的表达能力。第一篇论文侧重于节点分类和链接预测任务，显著降低了错误率，尤其是在Gromov双曲性较低的数据集上表现尤为出色。第二篇论文则着重于图分类任务。

• 论文3：Multi-relational Poincaré Graph Embeddings

  论文链接：https://papers.nips.cc/paper/8696-multi-relational-poincare-graph-embeddings.pdf

该论文提出了多关系庞加莱图嵌入模型（MuRP），利用双曲几何优化知识图嵌入。MuRP在标准评测数据集WN18RR和FB15k-237上的表现优于其他模型，且仅需较少的维度即可获得较高的准确性。

二、逻辑和知识图嵌入

近年来，知识图嵌入模型层出不穷，不断刷新最佳表现记录。然而，知识图的表达能力是否有上限？是否有人研究过模型对哪些方面建模有效，对哪些方面无效？

• 论文4：Group Representation Theory for Knowledge Graph Embedding

  论文链接：https://grlearning.github.io/papers/15.pdf

此论文从群论角度探讨知识图嵌入，证明了在复空间中可以对阿贝尔群进行建模，且RotatE模型可以表示任何有限阿贝尔群。论文对群论知识进行了简要介绍，但尚未扩展到1-N或N-N关系建模。

• 论文5：Quaternion Knowledge Graph Embeddings

  论文链接：https://papers.nips.cc/paper/8541-quaternion-knowledge-graph-embeddings.pdf

论文介绍了四元数知识图嵌入模型QuatE，通过旋转四维空间上的关系来统一complEx和RotatE模型。QuatE在FB15k-237数据集上训练所需的自由参数减少了80%，展示了其高效性。

• 论文6：Quantum Embedding of Knowledge for Reasoning

  论文链接：https://papers.nips.cc/paper/8797-quantum-embedding-of-knowledge-for-reasoning.pdf

论文提出了E2R模型，受量子逻辑启发，通过量子知识图嵌入来实现推理。E2R在FB15K数据集上表现优异，但在WN18数据集上效果不佳。尽管如此，E2R展示了将符号信息纳入嵌入模型的可能性。

• 论文7：Logical Expressiveness of Graph Neural Networks

  论文链接：https://grlearning.github.io/papers/92.pdf

论文探讨了图神经网络的逻辑表达能力，证明了聚合组合神经网络（AC-GNN）的表达方式对应于描述逻辑ALCQ，且在添加独处成分后，可以捕获FOC_2中的每个公式。这项研究为理解GNN的逻辑表达提供了重要见解。

• 论文8：Embedding Symbolic Knowledge into Deep Networks

  论文链接：https://papers.nips.cc/paper/8676-embedding-symbolic-knowledge-into-deep-networks.pdf

论文提出了LENSR模型，通过图卷积网络将逻辑规则嵌入到d-DNNF中。LENSR在视觉关系预测任务中表现出色，Top-5准确率从84.3%提升到92.77%。

三、马尔科夫逻辑网络东山再起

马尔科夫逻辑网络（MLN）旨在结合一阶逻辑规则和概率图模型，但由于计算复杂度高，拓展性差，直接应用MLN存在局限。近年来，许多研究试图通过神经网络改进MLN，以下是一些代表性论文：

• 论文9：Probabilistic Logic Neural Networks for Reasoning

  论文链接：https://papers.nips.cc/paper/8987-probabilistic-logic-neural-networks-for-reasoning.pdf

论文提出了pLogicNet模型，结合知识图嵌入和逻辑规则进行推理。模型通过变分EM算法训练，展示了强大的推理能力。

• 论文10：Neural Markov Logic Networks

  论文链接：https://kr2ml.github.io/2019/papers/KR2ML2019paper_18.pdf

论文介绍了神经马尔科夫逻辑网络（NMLN），无需显式逻辑规则，而是通过神经势能函数在向量空间中编码固有规则。尽管NMLN在小数据集上表现良好，但拓展性仍需解决。

• 论文11：Can Graph Neural Networks Help Logic Reasoning?

  论文链接：https://kr2ml.github.io/2019/papers/KR2ML2019paper_22.pdf

论文比较了GNN和MLN在逻辑推理和概率推理中的表现，设计了ExpressGNN架构，通过额外的嵌入层实现层次化编码，提高了逻辑推理能力。

四、对话AI与图

对话AI与图的结合是近年来的研究热点，以下是几篇相关论文：

• 论文12：Multi-domain Dialogue State Tracking as Dynamic Knowledge Graph Enhanced Question Answering

  论文链接：http://alborz-geramifard.com/workshops/neurips19-Conversational-AI/Papers/51.pdf

论文提出了DSTQA模型，通过问答方式追踪对话状态，基于动态知识图增强对话系统。DSTQA在MultiWOZ数据集上表现优异，刷新了最佳成绩。

• 论文13：Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning

  论文链接：http://alborz-geramifard.com/workshops/neurips19-Conversational-AI/Papers/32.pdf

论文介绍了神经网络助手模型，不仅能考虑对话历史，还能利用知识库中的现实信息。模型在MultiWOZ设置下表现出色，预测动作和实体出现的F1分数超过90%。

• 论文14：A Comprehensive Exploration on WikiSQL with Table-Aware Word Contextualization

  论文链接：https://kr2ml.github.io/2019/papers/KR2ML2019paper_8.pdf

论文提出了SQLova模型，通过BERT编码问题和表头，生成SQL查询。模型在WikiSQL数据集上达到了90%的准确率，超过了人类表现。

五、图神经网络的预训练和理解

图神经网络的预训练和理解是当前研究的重要方向，以下是一些相关论文：

• 论文15：Pre-training Graph Neural Networks

  论文链接：https://arxiv.org/abs/1905.12265

论文提出了预训练图神经网络框架，证明了预训练在节点级别和图级别任务中的有效性。预训练结合节点级别和图级别的表征，提升了多种预测任务的性能。

• 论文16：Graph Transformer Networks

  论文链接：https://papers.nips.cc/paper/9367-graph-transformer-networks.pdf

论文为异质图设计了图Transformer架构，通过生成元路径编码更多有价值的信息，刷新了节点分类的最佳成绩。

• 论文17：GNNExplainer: Generating Explanations for Graph Neural Networks

  论文链接：https://papers.nips.cc/paper/9123-gnnexplainer-generating-explanations-for-graph-neural-networks.pdf

论文提出了GNNExplainer框架，为图神经网络的预测结果提供解释，通过最大化模型预测与子图结构的共同信息，生成易于理解的解释。

结论

图上的机器学习技术正在不断发展，涵盖计算机视觉、自然语言处理和强化学习等多个领域。未来，我们期待看到更多关于图神经网络的创新研究，特别是在预训练和可解释性方面。这些研究不仅有助于推动学术界的发展，也为实际应用提供了坚实的基础。