Deeplab系列讲解

DeepLab系列论文一共有四篇，分别是DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+。

因为卷积神经网络的空间信息细节已经被高度抽象画，所以它就具有很好的平移不变性，这样可以能够很好的处理图像分类问题，但是它的最后一层的输出不足以准确的定位物体进行像素级分类

一、基础知识

1.1 空洞卷积

如上图所示，同样的两个卷积输出的特征图大小事3×3，其中传统卷积3×3对应的感受野的大小是5×5（此处stride为2），空洞卷积参数也是3×3，但这是尺寸为5×5，这是dilated为2自动构建的空洞卷积。其对应的感受野则是7×7。

上面两图清晰表达了网络中常用3×3卷积进行堆叠操作了，在感受野相同情况下，堆叠计算量少，同时增加了非线性变换。

1.2 SPP

SPP网络在yolo中也曾经应用过，即通过maxpooling操作，使输出固定。原理是：无论输入的特征图尺寸多大，分别分成4×4,2×2,1×1大小的块，如此输出就是（16+4+1）×256.(在maxpoolin构建中因为输入特征图大小不同，则pool的size以及stride也不同)

第一张图为图像金字塔解决多尺度问题，此处耗时。第二张为unet结构，多尺度输入。第三张为unet引入了空洞卷积，第四章则是在spp中引入了空洞卷积替代了maxpool，具体为：

因为空洞卷积的rate不同，感受野不同，重点关注特征也不同，进而实现了多尺度问题，同时保证输出的大小相同，为contact打好基础。这就是ASPP。

1.3 DeeplabV3+!

DeepLab v1：空洞卷积+CRF

• 减少下采样次数，尽可能的保留空间位置信息；
• 使用空洞卷积，扩大感受野，获取更多的上下文信息;
• 采用完全连接的条件随机场(CRF)这种后处理方式，提高模型捕获细节的能力。

DeepLab v2：ASPP

• 在DeepLab v1的基础上提出了图像多尺度的问题，并提出ASPP模块来捕捉图像多个尺度的上下文信息。
• 仍然使用CRF后处理方式，处理边缘细节信息。

DeepLab v3：改进ASPP

• 改进了ASPP模块：加入了BN层，
• 探讨了ASPP模块的构建方式：并行的方式精度更好。
• 由于大采样率的空洞卷积的权重变小，只有中心权重起作用，退化成1×11×11×11×1卷积。所以将图像级特征和ASPP特征进行融合。

DeepLab v3+：deeplabv3 + encoder-decoder

• 使用了encoder-decoder（高层特征提供语义，decoder逐步回复边界信息）：提升了分割效果的同时，关注了边界的信息
• encoder结构中：采用Xception做为 BackBone，并将深度可分离卷积（depthwise deparable conv）应用在了ASPP 和 encoder 模块中，使网络更快。

deeplab的思想与unet不相同，在向分类网络靠拢，区别在于head的处理方式不同。如果从分割理论上将编码和解码差异还是比较大。

二、源码讲解

2.1 不同网络层的配置文件讲解

文章中源码使用mmsegmention，上图分别是三个网络的配置文件详情，为此针对重点模块讲解。

2.2 整体逻辑

在网络构造中，基本使用EncoderDecoder引擎，训练的代码为：

 def loss(self, inputs: Tensor, data_samples: SampleList) -> dict:
        """Calculate losses from a batch of inputs and data samples.

        Args:
            inputs (Tensor): Input images.
            data_samples (list[:obj:`SegDataSample`]): The seg data samples.
                It usually includes information such as `metainfo` and
                `gt_sem_seg`.

        Returns:
            dict[str, Tensor]: a dictionary of loss components
        """

        x = self.extract_feat(inputs)

        losses = dict()

        loss_decode = self._decode_head_forward_train(x, data_samples)
        losses.update(loss_decode)

        if self.with_auxiliary_head:
            loss_aux = self._auxiliary_head_forward_train(x, data_samples)
            losses.update(loss_aux)

        return losses

大体逻辑为：

1、主干网络提取特征

2、解码头进行loss计算

3、一般还有辅助头，同时更新loss

主干提取代码为：

    def extract_feat(self, inputs: Tensor) -> List[Tensor]:
        """Extract features from images."""
        x = self.backbone(inputs)
        if self.with_neck:
            x = self.neck(x)
        return x

loss的代码操作为：

 def _decode_head_forward_train(self, inputs: List[Tensor],
                                   data_samples: SampleList) -> dict:
        """Run forward function and calculate loss for decode head in
        training."""
        losses = dict()
        loss_decode = self.decode_head.loss(inputs, data_samples,
                                            self.train_cfg)

        losses.update(add_prefix(loss_decode, 'decode'))
        return losses

    def _auxiliary_head_forward_train(self, inputs: List[Tensor],
                                      data_samples: SampleList) -> dict:
        """Run forward function and calculate loss for auxiliary head in
        training."""
        losses = dict()
        if isinstance(self.auxiliary_head, nn.ModuleList):
            for idx, aux_head in enumerate(self.auxiliary_head):
                loss_aux = aux_head.loss(inputs, data_samples, self.train_cfg)
                losses.update(add_prefix(loss_aux, f'aux_{idx}'))
        else:
            loss_aux = self.auxiliary_head.loss(inputs, data_samples,
                                                self.train_cfg)
            losses.update(add_prefix(loss_aux, 'aux'))

        return losses

将特征图和真实标定图像进行loss计算，具体实现代码见下节讲解。

在代码中，loss的具体实现在head里面的loss实现，进而找到ASPP的代码，在

class ASPPHead(BaseDecodeHead):
    """Rethinking Atrous Convolution for Semantic Image Segmentation.

    This head is the implementation of `DeepLabV3
    <https://arxiv.org/abs/1706.05587>`_.

    Args:
        dilations (tuple[int]): Dilation rates for ASPP module.
            Default: (1, 6, 12, 18).
    """

继承了基类，基类有其loss执行，代码为：

 def loss(self, inputs: Tuple[Tensor], batch_data_samples: SampleList,
             train_cfg: ConfigType) -> dict:
        """Forward function for training.

        Args:
            inputs (Tuple[Tensor]): List of multi-level img features.
            batch_data_samples (list[:obj:`SegDataSample`]): The seg
                data samples. It usually includes information such
                as `img_metas` or `gt_semantic_seg`.
            train_cfg (dict): The training config.

        Returns:
            dict[str, Tensor]: a dictionary of loss components
        """
        seg_logits = self.forward(inputs)
        losses = self.loss_by_feat(seg_logits, batch_data_samples)
        return losses

进而找到ASPP的forward函数

 def forward(self, inputs):
        """Forward function."""
        output = self._forward_feature(inputs)
        output = self.cls_seg(output)
        return output

整体代码结构比较简单

2.3 ResnetV1c

@MODELS.register_module()
class ResNetV1c(ResNet):
    """ResNetV1c variant described in [1]_.

    Compared with default ResNet(ResNetV1b), ResNetV1c replaces the 7x7 conv in
    the input stem with three 3x3 convs. For more details please refer to `Bag
    of Tricks for Image Classification with Convolutional Neural Networks
    <https://arxiv.org/abs/1812.01187>`_.
    """

    def __init__(self, **kwargs):
        super().__init__(deep_stem=True, avg_down=False, **kwargs)

正如注释所讲，这是常规的残差网络，但此处用了3个3×3卷积，替换了7×7卷积，此处不再详解

2.3 逆卷积

对于一个图片A，设定它的高度和宽度分别为Height，Width，通道数为Channels。 然后我们用卷积核（kernel*kernel）去做卷积，（这里设定卷积核为正方形，实际长方形也可以类推），步长为stride(同样的，不区分高宽方向)，做padding,卷积后得到B。重复上面的话就是利用一个卷积操作将A变成B

逆卷积的示意图。

第一步：对输入的特征图a进行一些变换，得到新的特征图a′

第二步：求新的卷积核设置

第三步：用新的卷积核在新的特征图上做常规的卷积，得到的结果就是逆卷积的结果。

class DeconvModule(nn.Module):
    """Deconvolution upsample module in decoder for UNet (2X upsample).

    This module uses deconvolution to upsample feature map in the decoder
    of UNet.

    Args:
        in_channels (int): Number of input channels.
        out_channels (int): Number of output channels.
        with_cp (bool): Use checkpoint or not. Using checkpoint will save some
            memory while slowing down the training speed. Default: False.
        norm_cfg (dict | None): Config dict for normalization layer.
            Default: dict(type='BN').
        act_cfg (dict | None): Config dict for activation layer in ConvModule.
            Default: dict(type='ReLU').
        kernel_size (int): Kernel size of the convolutional layer. Default: 4.
    """

    def __init__(self,
                 in_channels,
                 out_channels,
                 with_cp=False,
                 norm_cfg=dict(type='BN'),
                 act_cfg=dict(type='ReLU'),
                 *,
                 kernel_size=4,
                 scale_factor=2):
        super().__init__()

        assert (kernel_size - scale_factor >= 0) and\
               (kernel_size - scale_factor) % 2 == 0,\
               f'kernel_size should be greater than or equal to scale_factor '\
               f'and (kernel_size - scale_factor) should be even numbers, '\
               f'while the kernel size is {kernel_size} and scale_factor is '\
               f'{scale_factor}.'

        #重点在此
        #放大系数等于stride。根据逆卷积步骤，根据stride首先插值形成新的特征图，大小已经等于
        #输出特征图大小，剩下就是普通卷积的操作了
        stride = scale_factor
        padding = (kernel_size - scale_factor) // 2
        self.with_cp = with_cp
        deconv = nn.ConvTranspose2d(
            in_channels,
            out_channels,
            kernel_size=kernel_size,
            stride=stride,
            padding=padding)

        norm_name, norm = build_norm_layer(norm_cfg, out_channels)
        activate = build_activation_layer(act_cfg)
        self.deconv_upsamping = nn.Sequential(deconv, norm, activate)

2.3 ASPP

先看ASPP的整体结构为：

 def _forward_feature(self, inputs):
        """Forward function for feature maps before classifying each pixel with
        ``self.cls_seg`` fc.

        Args:
            inputs (list[Tensor]): List of multi-level img features.

        Returns:
            feats (Tensor): A tensor of shape (batch_size, self.channels,
                H, W) which is feature map for last layer of decoder head.
        """
        x = self._transform_inputs(inputs)
        #获取特征图，此处对应的imagepool模块，先变小，再变大，此处特征图大小不变
        aspp_outs = [
            resize(
                self.image_pool(x),
                size=x.size()[2:],
                mode='bilinear',
                align_corners=self.align_corners)
        ]
        #此处将特征图输入到aspp模块，获取到了4个特征图
        aspp_outs.extend(self.aspp_modules(x))
        #所有特征图连起来，然后卷积操作
        aspp_outs = torch.cat(aspp_outs, dim=1)
        feats = self.bottleneck(aspp_outs)
        return feats

    def forward(self, inputs):
        """Forward function."""
        output = self._forward_feature(inputs)
        output = self.cls_seg(output)
        return output

博客推荐

语义分割系列-4 DeepLabV1-V3+（pytorch实现）

本栏目推荐文章
• Transfomer，FCN，PSPNET,Deeplab-v3和计算机空战简单介绍
• 讲解FCN，PSPNET，Deeplab-v3的网络结构
• Deeplab系列
• 深度学习应用篇-计算机视觉-语义分割综述[6]：DeepLab系列简介、DeepLabV3深入解读创新点、训练策略、主要贡献
• 深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等
• 【论文笔记】Deeplab系列

Deeplabdeeplab-v transfomer deeplab-v deeplab计算机 deeplab-v deeplab结构pspnet deeplab笔记 论文