LightGCL Simple Yet Effective Graph Contrastive Learning For Recommendation论文阅读笔记-526互联

Abstract

目前的图对比学习方法都存在一些问题，它们要么对用户-项目交互图执行随机增强，要么依赖于基于启发式的增强技术（例如用户聚类）来生成对比视图。这些方法都不能很好的保留内在的语义结构，而且很容易受到噪声扰动的影响。所以我们提出了一个图对比学习范式LightGCL来减轻基于CL的推荐者的通用性和鲁棒性的问题。我们的模型采用奇异值分解来进行对比增强，使用全局协同关系建模实现无约束结构细化。

Introduction

视图生成器通过识别准确的对比样本作为数据增强的核心部分。目前大多数图对比学习方法采用基于启发式的对比视图生成器来最大化输入正对之间的互信息并且拉开负实例之间的互信息。为了构造扰动视图。SGL提出通过随机增强的策略，通过破坏用户-项目交互图的结构信息来生成正视图的节点对。为了改进推荐中的图对比学习，SimGCL提供了具有随机噪声扰动的嵌入增强。为了识别节点的语义邻居，我们引入了HCCF和NCL以在结构上相邻的节点和语义邻居之间追求一致的表示。但是目前最先进的对比推荐系统存在一些固有的局限性：

具有随机扰动的图增强可能会失去有用的结构信息，从而误导了表示学习
启发式引导表示对比方案很大程度上建立在视图生成器上，这限制了模型的通用性，并且容易受到有噪声的用户行为的影响
大多数基于GNN的对比推荐都受到过平滑问题的限制，会生成难以区分的表示
基于上述的局限性和挑战，我们采用一种简单有效的LightGCL增强方法，重新审视图对比学习范式进行推荐，在模型中，图的增强由奇异值分解（SVD）指导，不仅提取用户-项目交互的有用信息，还将全局协作上下文注入到对比学习的表示对齐中。使用这样的对比学习的范式，可以很好的保留用户-项目交互的重要语义，而不是生成两个手工制作的增强视图。这使得模型的自增强表示能够反映用户特定的偏好和跨用户的全局依赖关系。
本文的贡献如下：
设计一个轻量级和鲁棒的图对比学习框架来增强推荐系统来解决与该任务相关的关键挑战
提出了一种有效的对比学习范式用于图的增强，通过全局协作关系的注入，提出的模型可以环境不准确的对比信号所带来的问题
与现有方法相比提高了训练效率

Methodology

本文的模型结构图如下：

LightGCN主要包括两个部分，提取局部图依赖关系的GCN骨干网络，和SVD引导的通过全局协作关系分析增强图对比学习

局部图依赖建模

本模型采用两层的GCN网络来聚合每个节点的邻居信息，在聚合的过程中采用边dropout的策略。节点的最终嵌入是在所有层中嵌入的总和

高效的全局协作关系学习

为了使图对比学习在推荐中具备全局结构学习的能力，我们引入了SVD方案，以高效的从全局视角中提取重要的协作信号。首先对归一化的邻接矩阵进行SVD分解，得到\(\tilde{A}=USV^T\) ，这里U和V分别是\(I\times I,J\times J\)的正交矩阵，其的列是\(\tilde{A}\)的行-行/列-列相关矩阵的特征向量，S是一个\(I\times J\)的对角矩阵，存储\(\tilde{A}\)的奇异值，最大的奇异值通常与矩阵的主要成分相关，因此我们截断奇异值列表，保留最大的q个值，并使用截断矩阵重构归一化的邻接矩阵。\(\tilde{A}=U_qS_qV^T_q\) ，\(U_q,V_q\)都是取U，V的前q列。
重建的矩阵\(\tilde{A}\)是归一化邻接矩阵的低秩近似，基于SVD的图结构学习具有两个优点，首先它通过识别对用户偏好表示重要且可靠的用户-物品交互来强调图的主要成分，生成的新图结构通过考虑每个用户-物品来保留全局协作信号。给定\(\tilde{A}\)，我们在每一层上对重构的用户-物品关系图进行消息传递。
但是对大型矩阵进行精确的SVD计算非常昂贵，对于处理大规模的永恒-物品矩阵来说是不切实际的。因此采用了随机SVD算法，关键思想是首先用低秩正交矩阵近似输入矩阵的范围，然后对这个较小的矩阵进行SVD计算
（怀疑这个SVD的效果，SVD提取出的q个真的是重要的交互吗，这又在这搞近似，效果真的好吗）

简化的局部-全局对比学习

传统的GCL方法通过构建两个额外的视图来对比节点嵌入。而从原始图生成的嵌入并没有直接参与InfoNCE损失。采用繁琐的三视图范式的原因可能是用于增强图的随机扰动可能会给主视图嵌入提供误导性的信号。但是在这篇文章提出的方法中，增强的图视图是通过全局协作关系创建的，可以增强主视图的表示，因此我们通过在InfoNCE损失中直接对比SVD增强的视图嵌入和主视图嵌入来简化CL框架

为了防止过拟合，在每个批次中实施随机节点丢弃，排除一些节点参与对比学习。