526互联

Day 01

发布时间 2023-05-31 20:48:27作者: 翻斗花园小美Q
  1. hyperparameters　超参数　　　　
  2. Gradient Descent   梯度下降算法
    1. 先选一个初始的参数，W 、b，计算θ0对你的loss function的Gradient,也就是计算每一个network里面的参数，w1、w2、b1、b2......等等。对你的L(θ0)的偏微分，计算出这个东西之后，这个gradient其实是一个vector(向量)，计算出这个vector之后，就可以去更新参数吧，然后这样计算，持续这个过程，计算θ1、θ2. ..
    2. 当我们用Gradient Descent方法的时候，跟我们在做Logistic  Regression、还有Linear  Regression等等，是没有太大的差别的，最大的差别是，在neural network里面，我们有非常非常多的参数，用Backpropagation来做（它也是Gradient Descent，不过它比较有效率去计算vector。）
      1. Backpropagation之Chain Rule （链式法则）     偏导数
  1. Sigmoid函数：常见的S型函数
  2. Optimization   最优化
  3. Overfitting   过拟合
  4. Perceptron   感知机
  5. Backpropagation   反向传播
  6. Logistic Regression   逻辑回归
  7. Mean Square error   均方误差
  8. Discrimination   区分度
  9. Generation Learning   生成学习