机器学习中的深度学习的概念及激活函数、梯度爆炸和梯度消失的总结归纳

发布时间 2023-12-05 22:36:16作者: cyznb

1.何为深度学习

在当今时代,机器学习不断深入,很多领域被研究,深度学习是目前最为热门之一的领域,
它被引入机器学习使其更接近于最初的目标——人工智能。
深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。

2.深度学习的目标

让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据,所以叫人工+智能;

3.目前深度学习的相关领域

  • 计算机视觉(CV)
  • 搜索技术
  • 数据挖掘
  • 机器翻译
  • 自然语言处理
  • 多媒体学习
  • ……

4.深度学习的概念及流程

在机器学习中我们都是对新来的数据进行收集特征提取,处理等等然后再去训练模型,这样显得很浪费时间;
深度学习就是帮我们省略掉数据处理这一步骤直接进行模型训练,不需要我们自己去提取特征,而是自动地对数据进行筛选,自动地提取数据高维特征。
简单的利用一张图说明一下:

  • 里面的模型会不断优化也就是调节超参数,所以会有不断完善的模型

5.激活函数

深度学习中即模拟人脑神经元的学习,每一层都有许多节点,与上一层全部相连就是全连接层
还是直接上图

激活函数就是,每一次传播到下一层的输入之前都会进行进行一次激活函数运算(运算wi权值,每一层的权值),然后才给下一层输入
不断往下,直到输出,然后更新超参数的过程也就是调节损失函数的过程,即往回求偏导,
简单的说就是传的层数越多,求导越多次,所以就是会有很多链式法则,很多个相乘,各个乘数大于1就会出现梯度爆炸,小于1就会消失,梯度就是偏导数(跟高数里的定义一样,变化速率最大的那点导数值)

6.最后,总结

  • 深度学习的目标(人工+智能)是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。

  • 深度学习就是帮我们省略掉数据处理这一步骤,不需要我们自己去提取特征,而是自动地对数据进行筛选,自动地提取数据高维特征。

  • 激活函数就是,每一次传播到下一层的输入之前都会进行进行一次激活函数运算(传入的w是代表上一层那个特征值占整体的权值),然后才给下一层输入。

  • 传的层数越多,求导越多次,所以就是会有很多链式法则,很多个相乘,各个乘数大于1-->梯度爆炸,小于1-->梯度消失。