Article:

l 论文标题：Interpretable Rumor Detection in Microblogs by Attending to User Interactions（通过关注用户交互的可解释性的微博谣言检测）

l 论文作者：Ling Min Serena Khoo, Hai Leong Chieu, Zhong Qian, Jing Jiang

l 论文来源：2020,AAAI

l 论文地址：https://arxiv.org/abs/2001.10667

l 引用：L. M. S. Khoo, H. L. Chieu, Z. Qian, and J. Jiang (2020) Interpretable Rumor Detection in Microblogs by Attending to User Interactions. In: Proceedings of the 34th AAAI conference on artificial intelligence, pp 5595-5602

Background:

本文工作的重点是利用社区对帖子响应回复来检测帖子是否是谣言，旨在使用自然语言处理技术来利用社区群体智能。关键原则是，社交媒体上的用户会发表对不准确信息的看法、猜测和证据,用户之间的互动以及分享的内容可以被捕捉，用于假新闻检测。

本文观点：基于树结构的谣言检测模型，往往忽略了分支之间的交互。

1 Introduction:

Motivation：发布回复的用户可能是对整个线程的回复，而不是对特定用户的回复。

Method：本文提出一个Post-Level Attention Model (PLAN)模型，利用Transformer网络中Multi-Head Attention Mechanism(多头注意力机制)来建模长距离的推文之间的交互。

本文还研究了该模型的变体：

² 一种结构感知的自注意力模型(StA-PLAN)，可以在Transformer网络中结合树状结构信息；　　

² 一种分层的字词和帖子级注意力模型(StA-HiTPLAN)，可以通过字词级自注意力机制学习句子向量。

Contributions：

1. 本文利用提出的模型的注意力权重来提供模型预测背后的字词级和帖子级的解释。这是第一篇这样做的论文。

2. 本文在两个数据集上与以前的研究进行了比较——PHEME 5，Twitter 15 和Twitter 16。之前的研究只在其中之一的数据集上机型评估。

3. 本文提出的模型在以上两个数据集中表现优于此前性能最好的模型。

目前谣言检测的类型：

(i) 基于谣言内容的；

(ii) 基于谣言来源的社会网络结构的；

(iii) 通过可信的来源核查事实真相的；

(iv) 基于对谣言的回复相应的。

2 Approaches:

2.1 Recursive Neural Networks

观点：谣言传播树通常是浅层的，一个用户通常只回复一次 source post ，而后进行早期对话。

Dataset	Twitter 15	Twitter 16	PHEME
Tree-depth	2.80	2.77	3.12

2.2 Transformer Networks

Transformer 中的注意机制使有效的远程依赖关系建模成为可能。

Transformer 中的注意力机制：

(1)

(2)

2.3 Post-Level Attention Network(PLAN)

框架如下：

首先：将 Post 按时间顺序排列；

其次：对每个Post使用Max pool(最大池化)得到sentence embedding；

然后：将sentence embedding 通过8个多头注意力模块MHA得到；

最后：通过attention机制聚合这些输出并使用全连接层进行预测：

(3)

(4)

(5)

，是通过s个MHA层后的输出，v和p分别是X的表示向量和预测向量。

回顾：

2.4 Structure Aware Post-Level Attention Network(StA-PLAN)

上述模型的问题：线性结构组织的推文容易失去结构信息。

为了结合显示树结构的优势和自注意力机制，本文扩展了 PLAN 模型，来包含结构信息。

其中，和是代表上述五种结构关系(i.e. parent, child, before, after and self) 的向量。

2.5 Structure Aware Hierarchical Token and Post-Level Attention Network(StA-PLAN)

本文的PLAN 模型使用 max-pooling 来得到每条推文的句子表示，然而比较理想的方法是允许模型学习单词向量的重要性。因此，本文提出了一个层次注意模型—— attention at a token-level then at a post-level。层次结构模型的概述如 Figure 2b 所示。

2.6 Time Delay Embedding

源推文创建的时候，回复推文一般是抱持怀疑的状态，而当源推文发布了一段时间后，回复推文有着较高的趋势显示源推文是虚假的。因此，本文研究了 time delay information对上述三种模型的影响。

为了包含每条推文的时间延迟信息，本文根据推文从源推文创建时起的延迟对推文进行装箱。总计时间段数量为100，每个时间段为10分钟间隔，延迟超过1000分钟的推文归入最后一个时间段。利用Transfomer原论文中类似的位置编码公式来编码每个时间段，得到的time delay embedding将与推文的句子embedding相加。每个推文的time delay embedding（TDE）为：

代表每条推文所属的时间段，代表维度，代表整个模型的维度。

3 Experiments and Results:

Dataset

Result

Explaining the predictions

Post-Level Explanations

首先通过最后的 attention 层获得最重要的推文，然后从第个MHA层获得该层的与最相关的推文，每篇推文可能被识别成最相关的推文多次，最后按照被识别的次数排序，取前三名作为源推文的解释。举例如下：

Token-Level Explanations

可以使用 token-level self-attention 的自注意力权重来进行 token-level 的解释。比如评论“@inky mark @CP24 as part of a co-op criminal investigation one would URL doesn’t need facts to write stories it appears.”中短语“facts to write stories it appears”表达了对源推文的质疑，右图的自注意力权重图可以看出大量权重集中在这一部分，这说明这个短语就可以作为一个解释：