AlexNet相对于LeNet的主要优势包括:
1. 更深的网络结构
AlexNet有8层结构,而LeNet只有5层。网络更加深入有利于学习更抽象的高级特征。
2. 使用ReLU激活函数
AlexNet使用ReLU激活函数,避免梯度消失问题,使得深层网络的训练更加容易。
3. 引入Dropout操作
AlexNet在全连接层使用Dropout来控制过拟合,提高模型泛化能力。
4. 数据 augmentation
AlexNet利用图像翻转、裁剪、颜色变化等对数据进行增广,有效扩大数据集规模。
5. GPU实现AlexNet
利用GPU加速模型训练,使大规模深层网络训练成为可能。
6. 更大数据集
AlexNet用ImageNet数据集训练和测试,数据集规模比LeNet的MNIST数据集更大更复杂。
7. 更低的错误率
AlexNet在ImageNet上的top-5错误率达到15.3%,比LeNet的MNIST错误率低很多。
综上,AlexNet相比LeNet进一步加深了网络结构,并采用了更先进的技术,如ReLU、Dropout、数据增广等,在更大规模的数据集上取得了更好的效果。
