526互联

Open Domain Question Answering Using Early Fusion of Knowledge Bases and Text

发布时间 2023-10-22 16:28:42作者: 馒头and花卷

目录

Sun H., Dhingra B., Zaheer M., Mazaitis K., Salakhutdinov R. and Cohen W. W. Open domain question answering using early fusion of knowledge bases and text. EMNLP, 2018.

概

Knowledge Bases + Text 的推理.

主要内容

  • 假设我们有一个不完全的知识图谱: \(\mathcal{K} = (\mathcal{V}, \mathcal{E}, \mathcal{R})\), 其中:

    1. \(\mathcal{V}\): entities;
    2. \(\mathcal{E}\): edges;
    3. \(\mathcal{R}\): relations.

  • 此外, 我们还有一个 text corpus \(\mathcal{D} = \{d_1, \ldots, d_{|\mathcal{D}|}\}\), 其中每个 document \(d\) 均为一串词序列 \(d = (w_1, \ldots, w_{|d_i|})\). 每个 document \(d\) 涉及部分实体 \(v \in \mathcal{V}\), 所以另外有边 \((v, d)\).

  • 故而, 我们所有的信息为 \(\mathcal{G} = (\mathcal{K}, \mathcal{D}, \mathcal{L})\), 其中 \(\mathcal{L} = \{(v, d)\}\) 为实体到 document 的 links 的集合.

  • 我们的任务是, 给定一个问题: \(q = (w_1, \ldots, w_{|q|})\), 从 \(\mathcal{G}\) 推出一些可能的答案 \(\{a\}_q\).

  • 本文的思想是两阶段的:

    1. 从 \(\mathcal{G}\) 中提取和 \(q\) 最相关的子图 \(\mathcal{G}_q\);
    2. 利用 GNN 对子图 \(\mathcal{G}_q\) 上的结点的 embedding 不断更新, 得到最终的表示 \(h_v^{(L)}\).

  • 有了最终的表示后, answer 的选择概率为:

    \[\text{Pr}(v \in \{a\}_q | \mathcal{G}_q, q) = \sigma(w^T h_v^{(L)} + b). \]

代码

[official]