2023年10月23日，继续论文，好困，想发疯。
论文：Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction
Github：https://github.com/Echo-Ji/ST-SSL
AAAI 2023的论文，开始吧。
(提示：下文的交通级、交通流量级、流量级，傻傻分不清楚，反正是翻译的锅，大体意思就是交通流量上的操作)
摘要
作者提出目前的交通流量预测存在两个主要的局限：1）大多数模型是是对所有区域的流量进行集体预测，没有考虑空间异质性，也就是说不同区域的交通流量分布可能存在偏差。2）这些模型无法捕捉时变交通模式所引起的时间异质性，因为它们通常用所有时间段的共享参数空间来建模时间相关性。
为了解决这些挑战，作者提出了一个新颖的时空自监督学习交通流量预测框架(ST-SSL)，通过辅助的自监督学习范式，增强交通模式表征来反映空间和时间异质性。具体地，我们的ST-SSL建立在一个具有时间和空间卷积的集成模块上，对跨空间和时间的信息进行编码。为了实现自适应时空自监督学习，ST-SSL首先在属性和结构层面对交通流量图数据进行自适应增强。在增强的交通图之上，构建了两个SSL辅助任务，以空间和时间异质性感知增强来补充主要的交通预测任务。
1 介绍
目前的交通流量预测面临两个主要的缺陷：第一个局限是缺乏对空间异质性的建模，不同地区的交通流量分布存在偏差。如图1(a)，不同功能的区域，交通流量分布不同(图1(b))，但是大多数模型都忽略了这种空间异质性，容易偏向交通流量较大的热门区域，因此不足以学习高质量的全市交通模式表征。虽然有些研究试图通过不同区域的多个参数集来捕捉异质性流量分布，但是涉及的大参数规模可能会导致在倾斜分布的交通数据上出现次优问题(没看懂T-T)。然后就是计算和内存成本较高，无法在实际城市场景中处理大规模交通数据。此外元学习已经被用于最近的方法中以控制交通流量。然而，这些模型的有效性在很大程度上依赖于收集到的手工制作的区域空间特征，这限制了模型表征的泛化能力。
此外，目前的方法使用所有时间段的共享参数空间对时间动态进行建模，难以精确保留潜在嵌入空间中的时间异质性。不同区域的交通模式会随时间而变化，比如从早上到傍晚，如图1(c)所示的时间异质性。然而有些人采用的参数空间差异化策略假定时间异质性在整个时间段内都是静态的，这并不总是成立的，如在工作日和节假日的傍晚交通模式可能会有显著不同。
为了有效建模空间和时间异质性，作者提出了一个时空自监督学习框架用于预测交通流量。为了对时空交通模式进行编码，在图神经网络上构建了ST-SSL，该网络整合了时空卷积以进行信息聚合。为了捕捉空间异质性，设计了一种空间自监督学习范式，在数据级和结构级对交通流量图进行增强，以适应异质性区域交通流量分布。然后引入软聚类范式的辅助自监督，以了解不同区域间的不同空间模式。为了将时间异质性注入潜在表征空间，授权ST-SSL使用时间自监督学习范式来维护时间流量动态的专用表征。
主要贡献如下：
- 首次提出了一种自监督学习框架，为交通流量预测中的时空异质性建模。这一范例可以为其他实际时空应用(如空气质量预测)带来启示。
- 针对噪声扰动，在图结构时空图上提出了一种自适应异质性感知数据增强方案。
- 将两个自监督学习任务结合在一起，通过加强对空间和时间交通异质性的模型辨别能力来补充主要的交通预测任务。
- 实验效果好(略)。
2 前言
略。
问题陈述。给定当前时间步之前的历史交通流量图G，目标是学习一个预测函数，该函数能准确估计未来时间步 t + 1时所有区域的交通流量，即Xt+1 ∈ RN×2。
3 方法
3.1 时空编码器
提出了一种时空(ST)编码器，以在交通流量图上联合保留ST上下文信息，从而对不同时间步长的交通数据顺序模式和空间区域之间的地理相关性进行联合建模。为此，将时间卷积分量与图卷积传播网络相结合，作为时空关系表示的骨干。(没看懂T-T)
为了对时间流量模式进行编码，采用了具有门控机制的沿时间维度的一维因果卷积。具体地，时空卷积(TC)将流量张量作为输入，并为每个区域输出一个时间感知嵌入：
其中
表示时间步长为t时的区域嵌入矩阵，第n行
对应区域rn的嵌入。这里，D表示嵌入维度。Tout是TC编码器中卷积运算后输出嵌入序列的长度。
为了捕获区域内的空间相关性，根据基于图的信息传递机制设计了空间卷积(SC)编码器：
A是G的区域邻接矩阵。经过SC编码器后，可以通过注入地理上下文获得所有区域的精炼嵌入(Et−Tout , . . . ,Et)。
ST编码器采用“三明治”块结构，其中TC→SC→TC是每个单独的块。通过堆叠多个块，经过多次卷积，可以得到时间维度为T'的嵌入矩阵序列
。经过基于ST编码器的嵌入传播和聚合后，时间维度T'降维零，就生成了ST编码器的最终嵌入矩阵
，其中每行
表示区域rn的最终嵌入。
下一节，对第一个TC编码器层的输出（Bt-T, ... ,Bt）进行自适应增强（第 3.2 节），并根据最终区域嵌入矩阵H进行时空异质性建模的自监督学习（第 3.3 节-第 3.4 节）。
3.2 TFG上的自适应图增强
在TFG
上设计了两个阶段的图增强方案，分别是流量级数据增强和图拓扑级结构增强，这两个阶段都是根据流量的规律性来适应所学到的异构感知区域依赖关系。(没看懂，这个术语T-T)
区域异质性测量。对于一个区域 rn，其嵌入序列（bt-T,n, ... , bt,n）在 T 个时间步长内从 (Bt-T, ... ,Bt)的各行开始，生成一个整体的嵌入序列：
un 是根据得出的聚合权重 pτ,n 对区域 rn 在不同时间步长的嵌入序列进行的聚合表示。这里，τ 是时间步长范围 (t - T, t) 的索引。聚合权重 pτ,n 反映了特定时间步长的交通模式（bτ,n）与整体交通过渡规律性（un）之间的相关性。bτ,n 是区域 rn 在时间步长 τ 时的嵌入，w0∈ RD 是用于转换的可学习参数向量。
在 ST-SSL 模型中，建议估算两个区域之间的异质性程度，以反映它们在不同时期的流量分布差异，如下所示：
请注意，qm,n 分数越大，表明区域 rm 和 rn 之间的交通模式依赖性越高，从而导致异质性程度越低。
异质性引导的数据增强。在ST-SSL中，建议从流量级和图拓扑级两方面进行数据增强，详见下文：
流量级增强。受（Zhu 等人，2021 年）中数据增强策略的启发，在构建的交通张量 Xt-T:t 上设计了一个增强算子，该算子与每个区域的时间感知交通模式依赖关系相适应。具体而言，目标是在区域 rn 的第 τ 个时间步中，根据从伯努利分布（即 ρτ,n ∼ Bern(1-pτ,n)）中得出的掩码概率 ρτ,n 来掩码相关性较低的交通量，以对抗噪声扰动。ρτ,n值越高，表明区域rn在第τ个时间步的交通量xτ,n越有可能被掩盖，因为它与区域rn的整体交通规律性相关性较低。流量水平增强后的增强数据记为 X˜t-T:t。
图拓扑增强。除了流量级扩增，还建议进一步对区域交通流图 G 进行拓扑级扩增。通过这种方法，ST-SSL 不仅可以忽略流量模式相互关联度低的区域连接，还可以捕捉区域与全球城市背景的长距离依赖关系。为此，i) 给定两个空间上相邻的区域 rm 和 rn，如果它们的交通规律依赖性不高（以高异质性度 qm,n 衡量），则它们的连接边 (rm, rn)∈ E 将被屏蔽。屏蔽概率 ρm,n 取自伯努利分布，即 ρm,n ∼ Bern(1-qm,n)。 ii) 给定两个非相邻区域，低异质性度 qm,n 将导致在 rm 和 rn 之间添加一条边，屏蔽概率同样取自伯努利分布 Bern(qm,n)。
经过两个扩增阶段后，得到扩增的 TFG
，其中包含去噪的交通量输入 X˜t-T:t（流量级扩增）和结构去噪˜E,A˜（图拓扑级扩增）。
3.3 空间异质性建模的 SSL
- 流量 交通 Spatio-Temporal Self-Supervised Prediction流量 交通spatio-temporal self-supervised spatio-temporal spatio-temporal representation recurrent feedback self-supervised prediction self-supervised exploration generative supervised self-supervised transformers lightweight supervised self-supervised interpretable adversarial generative self-supervised bidirectional supervised learning self-supervised transformers supervised empirical