InGram文献阅读

摘要

现有的归纳知识图补全方法假设推理的实体在训练阶段是未知的，但是规定不允许在推理时出现新的关系。

本文提出一种归纳式知识图嵌入方法INGRAM，方法可以在推理时生成新兴的关系和新兴实体的嵌入。

给定一个知识图，我们将关系图定义为由关系和它们之间的亲和力权重组成的加权图。

基于原始图和关系图，使用注意力机制聚合相邻嵌入以生成关系和实体的嵌入。

1. 引言

现有的大多数归纳方法假设只有实体可以是新的，并且在训练阶段观察到所有的关系。这些方法对实体执行归纳推理，对关系执行转导推理，如图1(a)。

图1(b)为关系的半归纳推理，推理时的关系由已知的和新的关系混合组成。

图1(c)为关系的归纳推理，这些关系都是新的。

图2显示了当所有关系和实体都是新的时INGRAM的概述。

一个关键的想法是定义一个关系图，其中一个节点对应于一个关系，边权重表示关系之间的亲和力。

一旦定义了关系图，我们就可以为每个关系指定相邻关系。给出了关联图和原始知识图，通过基于注意力的邻居嵌入聚合计算出关系和实体嵌入向量。对聚合过程进行优化，使三元组在训练知识图中的可信度得分达到最大。INGRAM在训练过程中学习的是如何聚合相邻的嵌入来生成关系和实体嵌入。在推理时，INGRAM根据从给定推理知识图计算出的新关系图和训练中学习到的注意权值，通过聚合邻居的嵌入，生成新的关系和实体的嵌入。

据我们所知，INGRAM是第一个引入关系级聚合的方法，该方法允许模型可推广到新的关系。由于INGRAM具有充分的归纳能力，我们可以在一个易于处理的、部分观察的集合上训练INGRAM，并将其简单地应用到一个全新的集合上，而无需再进行训练，从而生成嵌入。

2. 相关工作

规则挖掘和子图推理。所有这些方法都假设只有实体可以是新的，并且应该事先知道它们之间的关系。(Jin et al.， 2022)最近建议GraphANGEL处理新的关系，但它假设所有实体都是已知的。

RMPI和INGRAM的区别。RMPI (Geng et al.， 2023)同时研究了处理新关系的问题，RMPI为每个候选实体提取局部子图以对相应的三元组进行评分时，INGRAM则直接利用了给定知识图的整体结构。此外，RMPI为每个单独的三元组使用一个未加权的关系视图，而INGRAM定义了一个权重很重要的全局关系图。由于这些根本的差异，INGRAM比RMPI具有更强的可扩展性和有效性。例如，处理NL-100数据集，INGRAM耗时15分钟，RMPI耗时52小时，而INGRAM的链接预测性能远远优于RMPI。细节将在第6节中讨论。此外，RMPI只设计用于知识图补全，不计算嵌入向量，而INGRAM返回一组实体和关系的嵌入向量，这些实体和关系也可用于许多其他下游任务。

进化图的推理。一些方法专注于建模新兴实体(Hamaguchi等人，2017;王等，2022)。例如，(Wang et al.， 2019)考虑了基于规则和网络的注意力权重，(Dai et al.， 2021)扩展了RotatE (Sun et al.， 2019)。所有这些方法都假设一个三元组应该由一个已知的实体和一个新的实体组成。(Cui等人，2022)提出了一种基于gcnt (Kipf &Welling, 2017)的方法，以更灵活地处理新兴实体。与这些方法相比，我们处理的是一个更具挑战性的问题，即所有实体都是新的，而不是只有一些部分是新的。

文本描述和语言模型。(Daza et al.， 2021)、(Ali et al.， 2021)和(Gesese et al.， 2022)使用了BERT (Devlin et al.， 2019)使用文本描述的预训练载体。一些方法已经利用语言模型来处理新的实体(Markowitz等人，2022年)。例如，(Zha等人，2022年)利用了一个预先训练的语言模型并对其进行了微调。所有这些方法都采用了丰富的语言模型，或者需要文本描述，而这些文本描述可能并不总是可用的。另一方面，INGRAM只利用了给定知识图的结构。