PRETRAIN

发布时间 2023-06-02 19:14:12作者: xle97

BACKBONE

前言

本篇博客记录常见backbone以及分类算法,具体如下:

  1. Hourglass

  2. resnet

  3. hrnet

Hourglass

hourglass module

Hourglass模块设计的初衷就是为了捕捉每个尺度下的信息,因为捕捉人脸,手这些部分的时候需要局部的特征,而最后对人体姿态进行预测的时候又需要整体的信息。为了捕获图片在多个尺度下的特征,通常的做法是使用多个pipeline分别单独处理不同尺度下的信息,然后在网络的后面部分再组合这些特征,而作者使用的方法就是用带有skip layers的单个pipeline来保存每个尺度下的空间信息。

中间监督

作者在整个网络结构中堆叠了许多hourglass模块,从而使得网络能够不断重复自底向上和自顶向下的过程,作者提到采用这种结构的关键是要使用中间监督来对每一个hourglass模块进行预测,即对中间的heatmaps计算损失。在上图中,每个hourglass模块后面跟着两个卷积核,来得到本模块的输出并作为下一个模块输入的一部分,下面分支将heatmap作为输出进行loss计算,再进行1x1卷积以匹配通道数。