论文解读(DEAL)《DEAL: An Unsupervised Domain Adaptive Framework for Graph-level Classification》

发布时间 2023-08-28 10:39:36作者: Wechat~Y466551

Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ]

论文信息

论文标题:DEAL: An Unsupervised Domain Adaptive Framework for Graph-level Classification
论文作者:Nan Yin、Li Shen、Baopu Li、Mengzhu Wang、
论文来源:2023 aRxiv
论文地址:download 
论文代码:download
视屏讲解:click

1 介绍 

  动机:跨域图分类;

  贡献:

    • 提出了一个关于图分类的域自适应框架;
    • DEAL 利用对抗性学习来生成源数据的增强视图,用于图空间中的域对齐。此外,还探索了网络不同层的表示,以提取可靠的伪标签,以更好地在目标域的分类性能;
    • 在几个数据集上进行的大量实验表明,该框架的性能优于各种最先进的竞争对手;

  水文..........

2 方法

模型框架

  

基于 GNN 的编码器

  特征提取器:

    $\boldsymbol{h}_{v}^{(k)}=C^{(k)}\left(\boldsymbol{h}_{v}^{(k-1)}, \mathcal{A}^{(k)}\left(\left\{\boldsymbol{h}_{u}^{(k-1)}\right\}_{u \in \mathcal{N}(v)}\right)\right)$

    $z=F(G)=\operatorname{READOUT}\left(\left\{\boldsymbol{h}_{v}^{(K)}\right\}_{v \in \mathcal{V}}\right)$

  分类器:

    $\hat{\boldsymbol{p}}=H(z)$

域对齐的对抗性扰动

  对抗训练如下:

    $\begin{aligned}\underset{\|\delta(\cdot)\|_{F} \leq \epsilon}{\text{min}} \;\;\underset{\theta_{d}}{\text{max}} \;\mathcal{L}_{A P} & =\mathbb{E}_{G_{i}^{s} \in \mathcal{D}^{s}} \log D\left(F\left(G_{i}^{s} ; \boldsymbol{M}_{i}^{s}+\boldsymbol{\delta}\left(\boldsymbol{M}_{i}^{s}\right)\right), \hat{\boldsymbol{p}}_{i}^{s}\right) \\& +\mathbb{E}_{G_{j}^{t} \in \mathcal{D}^{t}} \log \left(1-D\left(F\left(G_{j}^{t}\right), \hat{\boldsymbol{p}}_{j}^{t}\right)\right)\end{aligned}$

  注意:鉴别器的输入是 图表示和预测;

用于判别性学习的伪标签蒸馏

  伪标签样本容易产生噪声,本文通过通过过滤噪声标签提高可信度;

  首先,对图表示进行聚类(DBSCAN),然后删除具有相同伪标签但在不同集群中的其他实例,最后,我们采用提取的伪标签来指导目标域的图分类。

    $\mathcal{L}_{T}=\mathbb{E}_{G_{j}^{t} \in Q} \mathcal{E}\left(\hat{\boldsymbol{p}}_{j}^{t}, l_{j}\right)$

训练目标

    $\mathcal{L}=\mathcal{L}_{S}+\mathcal{L}_{T}-\lambda \mathcal{L}_{A P}$

3 实验

  水文,就不看了.........