论文精读：基于具有时空感知的稀疏多图卷积混合网络的大数据驱动船舶轨迹预测

《Big data driven vessel trajectory prediction based on sparse multi-graph convolutional hybrid network with spatio-temporal awareness》

论文链接：https://doi.org/10.1016/j.oceaneng.2023.115695

摘要

准确预测船舶未来的航行轨迹，有利于避免碰撞、还是监控和异常行为检测。作者提出一种基于时空感知的稀疏多图卷积混合网络的船舶轨迹预测方法，SMCHN 模型：

稀疏空间图捕捉船舶间的自适应交互并去除冗余交互；
稀疏时间图用于模拟船舶的运动趋势，使船舶的运动行为越来越接近现实；
混合网络通过调整权重来融合不同来源的信息。
具有门控机制的时序卷积网络预测船只的未来轨迹。

引言

船舶轨迹预测 ：计算船舶在未来某一时间的位置坐标。
流行的轨迹预测方法 ：恒速模型（CVM，一种线性模型）、神经网络（RNN及其变体，eg长短期记忆网络LSTM、门控循环单元GRU）、卡尔曼滤波器等非线性预测方法。
局限性 ：忽略目标船只与周围船只之间的社会互动。

（usually密集交互模型使用距离加权法表示船舶之间复杂的交互行为，即所有船舶在海域内的交互行为。但密集的相互作用会导致船只之间多余的相互作用）

距离加权法采用相对距离模拟船舶之间的无定向相互作用，导致船舶之间的相互作用相同。

图 1 船舶之间的密集交互和稀疏交互

具体讲：假设海域内有A、B、C、D 四艘船只。在预测船只 A 的未来轨迹时，只需考虑船只 A 和船只 B 之间的相互作用。

密集交互：CNN 或距离加权法来建立船舶社会互动模型假设场景中所有船舶都相互影响，从而得到船舶之间的整体社会互动，可能会导致船舶之间的冗余交互。如图b
稀疏交互：更符合船舶的实际航行状态。如图c

方法

问题描述

假设海域有N搜船只，目标是预测N搜船只在未来时间段的位置。船舶n在时间步t的经纬度坐标$(x^t _n,y^t_n)$，其中$1\leq n \leq N,0 \leq t \leq T_{obs}$，N表示船舶数量，$[0,T_{obs}]$表示观察时间窗口，预测第n搜船在未来时间步$t_p$的位置坐标$(x_n^{t_p},y_n^{t_p})$。

\[(x_n^{t_p},y_n^{t_p})=F(R_{obs}; \theta),where 1 \leq n \leq N,T_{obs}+1 \leq t_p \leq T_{pred} \]

其中，$[T_{obs}+1,T_{pred}]$表示预测的时间窗口。船舶轨迹预测看作从历史船舶轨迹中学习投影函数，$R_{obs}$表示历史船舶轨迹的深层特征表示，$\theta$表示模型中的参数。

模型架构

SMCHN 稀疏多图卷积混合网络模型的框架图

SMCHN模型的4个核心模块：船舶轨迹多图表示模块、稀疏邻接矩阵生成模块、基于混合网络的特征融合模块、时间卷积层模块。

具体步骤：

Step1：构建船舶轨迹的两种图表示，空间图（模拟船舶之间的社会互动）和时间图（描绘船舶的运动趋势）。为消除图结构中的冗余交互，应用多头自注意力机制和非对称卷积神经网络获取船舶之间的稀疏互动关系。

多头自注意力机制的并行性：使用多个注意力头来处理输入数据，每个头都可以学习不同的关系和交互。模型的并行性使其能够同时考虑多个不同的关系，而不需要深度逐层地传播信息。有助于更有效地捕捉数据中的相关性，减少了冗余的信息传递。
非对称卷积神经网络的定向性：引入方向性使网络能够捕获不同方向上图结构中的关系。减少对所有邻居节点的均衡交互，只关注对任务有重要性的邻居节点。网络可以更加高效地传播信息，减少冗余。

Step2：根据阈值截断生成稀疏邻接矩阵并通过归一化方法分别获得空间图和时间图的归一化邻接矩阵。

阈值截断生成稀疏邻接矩阵：图数据处理的常用技术，将原始的密集邻接矩阵转换为稀疏邻接矩阵，减少图的存储和计算复杂性同时保留重要连接关系。
基于预定的阈值遍历邻接矩阵的每个元素 0.5/0.1→大于阈值保留连接并将相应元素设为1；小于阈值截断连接并将相应元素设为0

Step3：通过图卷积运算对稀疏空间图和稀疏时间图进行级联学习，应用混合网络融合船舶的社交互动特征和运动趋势特征，获得船舶轨迹的深层特征表示。

级联学习：训练策略，逐步构建和训练多个模型，每个模型都在前一模型的基础上进行训练和修正。

Step4：具有门控机制的时间卷积网络捕获最重要的特征预测船舶的未来轨迹。

船舶轨迹的多图表示模块--获得空间图$G_s$和时间图$G_t$

空间图和初始化空间邻接矩阵的实例

空间图：所有船舶的每个时间步的位置构建成图，获取船舶之间的社会交互特征。

船舶的观测轨迹$X\in R^{T_{obs} \times N \times D}$，$T_{obs}$表示观测时间长度，N表示该海域的船舶数量，D表示船舶窗台向量的特征纬度。
时间步t处的船舶轨迹空间图$G_s=(V^t,E^t)$，$V^t=(\nu^t_n|n=1,...,N)$表示节点集，$\nu^t_n=(x^t_n,y^t_n,s^t_n,h^t_n)$（精度、纬度、对地速度和船舶在时间t的航向），$E^t=(e^t_{ij}|i,j=1,...,N)$表示边集。

时间图和初始化数据邻接矩阵的示例

时间图：每个船舶所有时间戳的位置构建成图，获取船舶的有效运动趋势特征。

船只n的时间图$G_t=(V_n,E_n)$，$V^t=(\nu^t_n|t=1,...,T_{obs})$表示节点集，$E^t=(e^{a,b}_n|a,b=1,...,T_{obs})$表示边集。由于多元轨迹数据的时间依赖性,初始化为上三角矩阵。

稀疏邻接矩阵生成模块--得到稀疏空间邻接矩阵$\widehat{A}_{st}^{'}$和稀疏时间邻接矩阵$\widehat{A}_{ts}^{'}$

(a)基于时空图产生归一化稀疏空间邻接矩阵的过程
(b)基于时空图产生归一化稀疏时间邻接矩阵的过程
(c)基于时空图有密集邻接矩阵到稀疏邻接矩阵的产生过程

生成稀疏空间邻接矩阵的过程
Step1 将空间图输入嵌入层得到空间图的嵌入向量表示

Step2 嵌入向量分别乘以权重矩阵的自注意力机制的查询值和键值

Step3 采用点积缩放注意力公式得到注意力权重，即船舶之间在空间纬度上的密集交互作用。

Step4 将每一时间步的船舶间密集交互叠加，然后用CNN将这些叠加的交互作用沿时间通道融合，得到基于空间图的具有时空特征的密集交互$A_{st}\in R^{T_{obs} \times N \times D}$，即 空间图的密集邻接矩阵 。
生成稀疏时间邻接矩阵的过程

Step1 得到时间图的嵌入向量表示

Step2 自注意力机制计算相应的 查询和关键值

Step3 采用点积缩放注意力公式得到注意力权重，即船舶在时间纬度上的密集交互作用

Step4 将同一时间步的所有船舶之间的密集交互串联起来，用CNN将叠加的交互作用沿空间通道融合，得到基于时间图的具有时空特征的密集交互$A_{ts}\in R^{N \times T_{obs} \times { T_{obs} } }$，即 时间图的密集邻接矩阵 。
对空间图和时间图密集邻接矩阵的相同操作

step5使用非对称卷积神经网络模拟邻接矩阵中的非对称性，并计算邻接矩阵的掩码值。

非对称卷积神经网络的两个卷积层分别结合矩阵中行和列的信息（ 9），然后将2个特征层相加，得到高层交互特征（ 10） 。
从最后一个卷积层得到活动特征图，即基于空间图的高级时空交互特征 $f_{st}\in R^{T_{obs} \times N \times D}$和基于时间图的高级时空交互特征 $f_{ts}\in R^{N \times {T_{obs}} \times {T_{obs}}} $。
step6阈值截断法对两个高层交互特征进行掩码得到稀疏交互掩码矩阵
Step7 为确保节点自连接，在稀疏交互掩码矩阵中加入身份矩阵E，然后通过元素相乘的方法分别与空间图和时间图上的时空密集交互矩阵。

融合，得到空间图上的稀疏空间邻接矩阵和和时间图上的稀疏时间邻接矩阵
Step8 对稀疏邻接矩阵进行归一化，使用Zero-softmax函数保持船只间社会互动的稀疏性，得到归一化的稀疏邻接矩阵。

基于混合网络的特征融合模块--获得船舶轨迹的深度特征H

利用图卷积网络从空间和时间维度对船只轨迹的社会互动特征和运动趋势特征进行建模，并通过混合网络获得船只轨迹的深度特征表示。

Step1 从空间图的输入得到稀疏有向空间图 $\widehat {G}s= (V^t, \widehat{A}^{'}) $ 代表船只间的稀疏定向社会交互特征，从时间图的输入获得稀疏有向时序图 $\widehat {G}t= (V_n, \widehat{A}^{'}) $ 代表船只有效运动趋势。
Step2 基于上面两个图结构的GCN建模。使用双层GCN学习船只轨迹的特征表示。
Step3 采用混合网络融合空间图和时间图上的时空交互趋势特征（可以根据训练过程动态调整特征权重），得到船舶轨迹的深度特征表示 H 。

时间卷积层模块

采用具有门控机制的TCN（时序卷积网络）预测船舶的未来轨迹。

TCN 能以非递归方式正确处理长距离序列，有助于并行计算并缓解梯度爆炸问题。
带有门控机制的 TCN 只包含一个输出门，门控激活单元通过使用两个非线性函数动态调整已形成的信息流，以捕捉船舶轨迹的短期和长期潜在特征

损失函数

对数似然

实验

数据集

2021.12美国沿海水域圣地亚哥附近的AIS记录。每个AIS样本都包含以下字段：MMSI（船舶唯一ID）、BaseDateTime（时间戳）、LAT（纬度）、LON（经度）、SOG（地面速度）、COG（地面航向）、航向（航向角）、船舶名称、IMO 编号、呼号、船舶类型、航行状态、长度、宽度、吃水、货物。数据集中仍然缺失其中的大部分字段，选择经纬度范围分别为（30◦，35◦）和（-120◦，-115◦），并提取 MMSI、BaseDateTime、LAT、LON、SOG 和航向值用于模型训练、测试和验证。