基于注意力机制

发布时间 2023-11-13 08:34:41作者: ITJAMESKING

卷积神经网络(CNN):利用卷积运算操作,对原始数据进行更高层次的表达和抽象,在图像领域表现突出。

注意力机制:分为硬注意力和软注意力,硬注意力机制是筛选出受关注的区域当作输入,采用限制输入内容的处理办法,

软注意力机制以神经网络训练的权值,在空间或者通道加权,注意力模块输入可微仍可以利用反向传播进行训练。