Tricks
▪ Early Stopping
▪ Dropout
▪ Stochastic Gradient Descent
1 Early stopping
我们走到最大指的时候我们可以提交stop掉，防止它overfitting。
1.1 How-To
▪ Validation set to select parameters(选择一个参数)
▪ Monitor validation performance（检测变量的表现)
▪ Stop at the highest val perf.（在最大值这停止）
2 Dropout
这个就是使得你创建网络的时候的w少一点。就是在右边里面每一条线都有断掉的概率。
API:
▪ layer.Dropout(rate)
▪ tf.nn.dropout(x, rate)
加了Dropout，就是有0.5的概率使得这一层数值被drop out掉，就是输出为0.
也就是有0.5的概率会断掉这个线。
3 Stochastic Gradient Descent
Stochastic
- not random!
Deterministic
