MoblieNetV1V2V3

发布时间 2023-06-08 21:43:01作者: tourbillon007

V1

可分离卷积(深度卷积depthwise+逐点卷积pointwise) img

最主要就是为了减少参数量,而且准确率差得不多

img

对比标准卷积,参数量和计算量都少了很多

v1的一个block

img

img

Relu6,感觉还是为了防止梯度爆炸吧

V2

Inverted residuals

1685369353464

对stride为1的block加入残差结构,先升维(维度太低,卷积效果不好。这里可以与v1对比),卷积,再降维

跟v1比多了先升维,逆残差,bottleneck( 把最后的那个ReLU6换成Linear ,作者把这个部分称为linear bottleleneck)

V3

--更新Block(benck)

--使用h-swish和h-sigmoid

--使用NAS搜索参数(不熟)

--引入se通道注意力结构

--重新设计耗时层

v3的block

1685692333200

h-swish激活函数

img

img

将swish替换成h-swish,sigmoid替换成h-sigmoid

跟swish对比,hswish/hsigmoid函数更“hard”一点,相当于是swish的低精度化,但减少了计算量。

se通道注意力

注意力机制 SE通道注意力 - 知乎 (zhihu.com)

img

结构图

img

se是一个即插即用的模块,对于需要从channel角度赋予图像不同权重需求的时候就可以用。

重新设计了耗时层

1685676503701