Unet网络概述

发布时间 2023-08-24 17:36:12作者: bldong

图像分割概念

B站视频参考

语义分割

实例分割

分割的目的

判断标准

判断标准即IOU,交集除以并集。MIOU则是所有类别的平均值。

Unet模型

网络结构比较简单,现在统称为编解码。在unet网络一开始为特征图相加,目前是先拼接再卷积下采样。

模型目前在医院领域应用比较广泛。

代码讲解

unet在mmsegmention中以主干网络为主,其他head应用与deeplab系列相同,两者的差异则变成了主干网络不同,本章节则重点讲解下unet的backbone

整体网络结构简单,没有特殊的层

UNet四个下采样层的每个下采样后的特征图都进行上采样,所以UNet可以变为多个UNet结构

在测试阶段只会前向传播,删掉L4这部分对前面的输出是没有影响的,而在训练阶段,因为既有前向传播的过程,又有反向传播的过程,所以那些被剪掉的部分是会影响到其他部分做权重更新的。在深监督的过程中,每个子网络的输出都其实已经是最终的分割结果了,所以如果其中一个子网络的结果已经足够好了,我们就能剪掉后面多余的部分了,剪枝之后的网络就会变得非常小

Unet++

UNet++的第一个优势就是精度提升,这是因为它融合了不同层次的特征;而第二个优势则是灵活的网络结构搭配深监督,让巨大参数量的网络在可接受的精度损失进行剪枝,实现大幅度减少参数量。

U2net

相较于传统的UNet,U²-Net在基本结构方面做了重要的改动:把UNet中的每个“下采样-上采样卷积层”都改成了某种特定的Block。完整结构图如下图所示:

本文在De_1至De_5、En_6这些结构上,直接生成了和输出相同大小的结果图。再将它们通过拼接融合、1×1卷积层和sigmoid函数后得到最终的结果

创新点

提出了一个叫Residual U-Block的东西,Residual U-Block通过添加残差连接和级联池化层来解决这个问题,从而在增加的参数量较小的情况下,实现高效的感受野扩展

U2Net的主要结构是一个两层嵌套的U型结构,通过这种嵌套式结构和新设计的Residual U-Block块,网络可以在不损失分辨率的情况下,从浅层和深层获取更丰富的局部和全局信息