一、迁移学习
深度学习中，迁移学习可以让小样本学习得更好，省时，方便。eg：我们采用YOLOV5训练识别动物（假定是简单得二分类），那么我们可以使用作者基于coco数据集训练得所得权重文件weight1；在此基础上，训练我们的数据，即：使用我们的数据对weight1接着调整，直到weight1适应于我们的数据。
总所周知，VGG、ResNet都是经典、可靠的经典网络模型，很多新的DL网络模型都是将其作为BackBone，接着后续进行创新开发，得到新的网络模型。一般地，迁移学习有两种方案：
- (从头做起)使用原模型参数p，在新的网络中，p作为初始化用，反向传播的时候，更新所有参数。
- （站在巨人肩膀上）使用原模型参数p，在新的网络中，将原来模型参数进行冻结，反向传播只更新后半部模型参数。
(一般地，如果我们数据量大，冻结的层数越少；数据量小，冻结的层数越多。)
注：例如ResNet的FC是100分类，而我们使用其进行迁移学习的时候，可能是10分类，这时候FC需要我们进行修改。
顺便科普：
参数量：
MobileNet： 6百万不到
YOLO5S： 7百万
VGG-16： 4000万
RestNet： 1.3亿
二、ResNet
2.1、restnet基本原理
理论上，56层网络的拟合能力远远强于20层，如下图（老图），20层的网络反而loss比56的低，原因是：随着网络加深，容易过拟合。
残差链接可以解决上述过拟合问题。例如：网络第n层输出为x，如下图，x现在走两条路，一条直接通过identity进行通过同等映射(直接copy下去)；另一条经过两个权重层处理。对比上述两条路结果的loss，哪个小就在网络中保留哪一个(其实不是绝对保留，两条路都有权重系数的，可取原文看公式）。
但是残差链接可能有个问题，如下图，34-层的残差网络中，有个虚线残差连接，我们注意到1->2过程中，特征图的channel由64->128，通过正常卷积层是这样，那残差连接是怎么解决的呢？答案是：通过1×1卷积进行升维度。
以下是两个常规网络，一个34层，一个18层，左图中可以看到，34层网络由于过拟合，效果反而不如18层网络；有图中我们给两者都加上残差连接后，34层网络才变得更好。
2.2 基于resnet的迁移学习
这里为了说明问题，选择层数比较小，stage1、2、3、4、5，5个模块（迁移学习会采用官方预训练模型，但是官方是1000分类，咱们是10分类，所以咱们需要修改下图的AVG POOL-Flatten-FC的size，其余前面模块直接复制官方参数，并冻结），请注意蓝色conv block模块、ID block 模块，下文简称c模块、i模块。
i模块：对应上图 34-layer residual中的 实线模块。
c模块：对应......虚线模块。
如下图所示：I模块（同等银色）在a、b汇合处相加，由于特征图尺寸一致，可以直接相加；再看C模块，在d处，特征图大小变为32×32×128，而原来特征图为
32×32×64，他们channel维度不同，原本是不能直接相加，但是在跳远连接（shortup过程）有个1×1卷积，它可以升高维度，处理后特征图变为32×32×128，这时候c
、d两处的特征图就可以相加了（这里加法其实是带权重的加法）。
效果怎样自己看吧，下图左边是迁移学习的效果，右边是自己重新训练的效果。
结论：迁移学习，使用官方权重进行预训练，模型收敛快！一般不建议冻住！
Reference:
[1] https://arxiv.org/pdf/1512.03385.pdf 《Deep Residual Learning for Image Recognition》