TFT架构学习

发布时间 2023-12-21 12:07:06作者: lotuslaw

1.TFT架构图

2.各成分概述

1)门控机制

2)变量选择网络

3)静态协变量编码器

4)时间处理

5)通过分位数预测

2.1门控机制-门控残差网络GRN

\[GRN_{\omega}(a,c)=LayerNorm(a+GLU_{\omega}(\eta_{1}))\\ \eta_{1}=W_{1,\omega}\eta_2+b_{1,\omega}\\ \eta_2=ELU(W_{2,\omega}a+W_{3,\omega}c+b_{2,\omega}) \]

\[GLU_{\omega}(\gamma)=\sigma(W_{4,\omega}\gamma+b_{4,\omega})\odot(W_{5,\omega}\gamma+b_{5,\omega}) \]

2.2变量选择网络

2.3静态协变量编码器

2.4可解释的多头注意力机制

2.5时间融合解码器

3.损失函数