神经网络2
发布时间 2023-12-20 09:30:28作者: 梅丹隆
1-
模型 |
模型结构 |
特征表示能力 |
训练效率 |
模型复杂度 |
鲁棒性 |
CNN |
局部连接、权值共享的卷积结构 |
对局部特征提取能力强,适用于图像、语音等领域 |
训练效率高,可并行化处理 |
模型结构相对简单,参数较少,不适用于处理序列数据 |
对数据噪声、变形等鲁棒性一般 |
RNN |
具有循环连接的结构,如LSTM、GRU等 |
适用于处理序列数据,能够捕捉序列信息的演化过程 |
训练效率相对较低,难以并行化 |
模型结构相对复杂,参数较多 |
对数据噪声、变形等具有一定的鲁棒性 |
Transformer |
基于自注意力机制的结构 |
具有较强的建模能力,适用于处理序列、图像等多种数据形式 |
训练效率较高,可并行化处理 |
模型结构较为复杂,参数较多 |
对数据噪声、变形等具有较强的鲁棒性 |
特点 |
CNN |
RNN |
Transformer |
应用场景 |
图像识别、视觉任务 |
语音识别、自然语言处理 |
自然语言处理、图像处理 |
长序列建模 |
不适用 |
适用,但难以处理非常长的序列 |
适用,能够高效地处理非常长的序列 |
并行计算 |
适用 |
不适用 |
适用 |
参数量 |
较少 |
较少 |
较多 |
训练数据需求 |
高 |
较高 |
高 |
对位置信息敏感 |
不敏感 |
敏感 |
敏感 |
泛化能力 |
一般 |
一般 |
良好 |