在线性网络中，任何特征的增大都会导致模型输出的增大或减小。这种想法在某些情况下不在适用，例如x和y并非线性关系、或者是x和y并不具有单调性、以及x1、x2会对y产生交互作用时。
为解决该问题，有人提出在网络中加入隐藏层，来克服线性模型的限制，使其能够处理更多变的函数关系。为防止多个隐藏层退化为单一的线性映射，在每个隐藏单元加入激活函数（非线性的），让模型更具表达力。
（即使是网络只有一个隐藏层，给定足够的神经元和正确的权重， 我们可以对任意函数建模...... from d2l why？）实际上，通常使用更深的（而不是更广的）网络。
几个常用的激活函数：ReLU函数，sigmoid函数，tanh函数