The Devil Is in the Details: Window-based Attention for Image Compression

发布时间 2023-12-13 11:39:58作者: 浪矢-CL

目录

简介

基于CNN的模型的一个主要缺点是 cNN结构不是为捕捉局部冗余而设计的,尤其是非重复纹理,这严重影响了重建质量。受视觉转换器(ViT)和Swin Transformer最新进展的启发,我们发现将局部感知注意机制与全局相关特征学习相结合可以满足图像压缩的期望。

  • 介绍了一种更简单有效的基于窗口的局部注意块。这种提出的基于窗口的注意力非常灵活,可以作为即插即用组件来增强CNN和Transformer模型
  • 此外,我们提出了一种新的对称变压器(STF)框架,在下采样编码器和上采样解码器中使用绝对变压器块