《A Novel Table-to-Graph Generation Approach for Document-Level Joint Entity and Relation Extraction》阅读笔记

文档级关系抽取（DocRE）的目的是从文档中提取实体之间的关系，这对于知识图谱构建等应用非常重要。然而，现有的方法通常需要预先识别出文档中的实体及其提及，这与实际应用场景不一致。为了解决这个问题，本文提出了一种新颖的表格到图生成模型（TAG），它能够在文档级别上同时抽取实体和关系。TAG的核心思想是在提及之间构建一个潜在的图，其中不同类型的边反映了不同的任务信息，然后利用关系图卷积网络（RGCN）对图进行信息传播。此外，为了减少错误传播的影响，本文在解码阶段采用了层次聚类算法，将任务信息从提及层反向传递到实体层。在DocRED数据集上的实验结果表明，TAG显著优于以前的方法，达到了当前的最佳性能。

关系抽取（RE）：从自然语言文本中抽取实体之间的语义关系，并将其表示为结构化的三元组。

句子级RE：在单个句子的范围内，抽取句子中实体对之间的关系。

DocRE：在多个句子的范围内，利用跨句子的语义推理，抽取文档中实体对之间的关系。

大部分现有的DocRE方法只关注抽取关系，这些方法假设实体及其对应的提及已经预先给定。

流水线框架是一种用于DocRE的方法，该框架首先将整个任务划分为提及抽取（ME）、共指消解（COREF）和实体关系抽取（RE）三个子任务，然后使用单独的模型逐步进行每个任务（Zaporojets等人, 2021）。然而，该框架的缺点在于它忽略了子任务之间的潜在依赖性，影响了模型的性能。

一些早期的联合考虑子任务的方法，如（Eberts等人, 2021; Xu等人,2022）仍然将COREF和RE任务分别建模，导致在编码和解码阶段可能产生的偏差。一方面，这类方法仍然存在信息共享不足的问题。它们要么完全依赖于共享的语言模型（如BERT）（Eberts等人,2021），要么只考虑从RE到COREF的单向信息流，忽略了其他跨任务的依赖性（Xu等人, 2022）。另一方面，这类方法大多采用流水线风格的解码，即先识别提及范围并形成实体簇，然后对每对实体进行关系分类。流水线风格的解码不仅耗时，而且面临着错误传播的问题。实体提及抽取的结果可能影响关系抽取的性能，并导致级联错误。Xu等人(2022)引入一个正则化项来缓解这个问题，但是问题仍然没有完全解决。

本文提出了TAG，将COREF和RE两个任务融合为一个表格填充任务的方法，使用一个表格填充器对原始文本进行编码，并在粗粒度上生成提及和关系的候选集合。为了表示共指和关系的信息，本文动态地构建了两个图结构，其中节点是提及，边的权重由表格填充器的置信度得分决定。此外，本文还在提及层面上建立了一个句法图，以缓解长距离依赖问题，并显式地引入句法信息。本文将这三个图视为三种不同类型的边，并利用关系图卷积网络（RGCN）来在细粒度上捕捉任务之间的隐含依赖关系。本文的粗到细的方法利用了丰富的节点表示，通过语义和句法链接传递信息，这与之前仅从语言模型中共享范围表示的多任务系统不同。本文还采用了一个直观的假设，即同一实体簇中的提及应该与其他实体形成相似的关系链接，并将层次聚类算法（HAC）应用到提及聚类中，以利用关系信息来提升共指消解的性能，从而避免错误传播的风险。本文在广泛使用的DocRE基准数据集DocRED上进行了实验，结果表明，本文提出的TAG模型显著优于现有的方法，并达到了新的最佳水平。本文还在DocRED的一个修订版本Re-DocRED上报告了联合实体和关系抽取的第一个结果，为未来的研究提供了一个新的基准。

DocRE的任务是，给定一个包含L个单词的文档D，端到端地同时提取所有实体和关系。因为某个实体可能在文档中以不同的形式多次出现，所以提取过程涉及到以下三个子任务：

与以前的工作不同，本文将COREF和RE两个任务用表格填充框架来建模，即对每对提及进行多分类。本文维护一个表格来表示提及对，并使用一个共享的表示来处理两个任务。对于表格中的每个单元格，本文分别为其分配COREF标签和RE标签。对于COREF，用1/0表示一对提及是否属于同一个实体。对于RE，将实体级别的标签转换为提及级别的标签，其中提及对与其所属实体具有相同的关系，且。

考虑到DocRE任务中重叠提及的情况较少，本文为了提高效率，采用了一种序列标注（sequence-based）的方式来抽取提及。该方法使用BIO标签来标记提及的开始、内部和结束位置，相比于基于跨度的方法，虽然牺牲了一些表达能力，但是降低了时间复杂度，只需要线性时间就可以完成。本文借鉴了Devlin等人（2019）的工作，先用预训练语言模型（PLM）对文档中的词进行向量化，然后用一个分类器对每个词进行BIO标签的分配，用表示抽取出的所有提及。

给定一个文档和相应的提及集，本文用表格的方式来表示每对提及，借鉴了实体标记策略（Baldini Soares等人，2019），在每个提及的首尾添加一个特殊符号“*”。接着用一个独立的预训练语言模型（PLM）来获取上下文表示和多头注意力:

式中，A为最后一层Transformer的多头注意矩阵。

将起始标记为“*”的嵌入作为提及嵌入，为了捕获提及对的相关上下文，应用本地化上下文池技术来计算上下文嵌入(Zhou等人, 2021):

式中，代表哈达玛积，分别是第k个注意力头中的注意权值，由对和都有高度关注的词聚合而成，因此可能对它们都很重要。

式中，都是可训练参数。

采用双仿射注意力机制将提及特征转换为表示共指消解或关系链接的标量分数表：

式中，都是可训练参数，表示向量串联，分别用共享表示预测得到共指消解分数和关系抽取分数，具体来说，如果RE标记，则被标记为1，否则为0。

在得到共指消解和关系分数, 后，对每个表的列进行规范化:

COREF和RE是两个重要的信息抽取任务，它们可以从文本中识别实体和实体之间的关系。然而，现有的方法往往分别处理这两个任务，忽略了它们之间的交互和语法信息的作用。为了解决这个问题，本文提出了一个信息传播模块，它可以考虑COREF和RE任务之间的交互，并结合显式语法信息，从而改进提及表示。具体来说，本文提出了一种基于潜在图的方法，它可以将提及图上的三种不同类型的边（分别对应COREF、RE和语法）进行统一建模。本文的模型可以利用不同类型的边来聚合邻居特征，从而增强提及的语义和结构信息。为了在提及图上应用关系图卷积网络，本文设计了一个更新过程，它可以根据边的类型和权值来调整不同邻居的贡献。本文的模型可以初始化节点嵌入为提及的隐藏特征，然后通过多层的信息传播来更新提及表示。与以前的方法不同，本文的模块可以并行集成跨任务信息，并提取两个任务的相关提及特征，从而实现更有效的信息抽取。

经过N次传播后，本文使用优化后的提及嵌入和上下文嵌入来预测COREF得分和RE得分：

式中，都是可训练参数，n维的双仿函数定义为：

式中，是可训练参数， 在COREF任务中，；在RE任务中，。为了实现多标签分类的动态阈值，引入了一个虚拟类TH，根据Zhou等人（2021）的方法来学习它的分数。在测试阶段，将分数高于TH类的关系类型预测为输出。如果没有任何关系类型的分数高于TH类，就认为分类器没有找到任何关系，返回。