周报_第十七周

发布时间 2023-12-20 13:51:46作者: bi8bu123

完成内容

在原位置直接加上GMM模块的效果并不好,然后进行以下尝试:
在中间使用交叉注意力进行信息补充。
加上残差连接。
替换使用的均值模板...,但是效果还是不好
目前推测原因:
1.可能输入GMM的数据是经过DCT压缩了的数据,可能得到的数据跟现实的相差比较大,进而导致了效果不好。
2.原来在做全局和局部信息融合时,是直接相加的,导致模型没有权衡这两者的重要性。

目前还在修改代码,打算把DCT放到GMM提取完信息之后,然后在全局和局部信息融合时,使用交叉注意力机制