Separable

写在前面： 可分离卷积提出的原因 卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数，应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件，显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable ......

由于ResNet的残差结构会跳过一些网络结果，所以其实resnet的有效深度其实并不深，所以有效感受野并不大。而大kernel模型不但有效感受野更大而且更像人类（shape bias高）。这也可能是传统CNN虽然在ImageNet上跟Transformer差不多，但在下游任务上普遍不如Transfo ......