解析解
最小二乘法求极值
对于\(p\)维数据，多元线性回归使用\(p\)元线性函数\(y = a_1x_1 + a_2x_2 + \cdots +a_px_p + a_0\)拟合真实数据分布。此时预测数据\(\hat y\)与真实数据\(y\)的均方误差\(MES = \frac{1}{n} \sum_{i=1}^{n}(\sum_{j=1}^{p}a_{j}x_{ij} + a_{0}-y_i)^2\)。
如果把预测数据\(\hat y\)写成矩阵形式\(\hat Y = XA\)，其中
\(X = \begin{pmatrix}
1 & x_11 & x_12 & \cdots & x_{1p} \\
1 & x_21 & x_22 & \cdots & x_{2p} \\
\vdots & \vdots & \vdots & \ddots & \vdots\\
1 & x_n1 & x_n2 & \cdots & x_{np} \\
\end{pmatrix}\)\(A = \begin{pmatrix}
a_0 & a_1 & \cdots & a_p
\end{pmatrix}
^{T}\)
那么，均方误差\(MSE = \frac{1}{n}\begin{Vmatrix}
\hat Y - Y
\end{Vmatrix}
^2\) ，其中\(\hat Y = XA\)，\(Y = \begin{pmatrix}
y_1 & y_2 & \cdots & y_n
\end{pmatrix}
^T\)。
此时，我们的目标函数是\(\hat A = \underset{A}{\arg\min}\,MES\)，其中\(\frac{1}{n}\)对结果不产生影响，为了方便后面计算我们重新定义\(\underset{A}{\arg\min}\,MES\)中的\(MES = \begin{Vmatrix}
\hat Y - Y
\end{Vmatrix}
^2\)。
对\(MES\)化简可得
\(\begin{aligned}
MES &= \begin{pmatrix}\hat Y-Y\end{pmatrix}^T\begin{pmatrix}\hat Y-Y\end{pmatrix} \\
&= A^TX^TXA - 2A^TX^TY + Y^TY
\end{aligned}\)
我们通过对\(A\)求偏导，令偏导数等于0。
\(\frac{\partial MES}{\partial A} = 2X^TXA - 2X^TY = 0
\\
\Rightarrow
X^TXA = X^TY\)
最终解得
\(\hat A = (X^TX)^{-1}X^TY\)
极大似然估计法
数据集：\(X = \begin{pmatrix}
1 & x_11 & x_12 & \cdots & x_{1p} \\
1 & x_21 & x_22 & \cdots & x_{2p} \\
\vdots & \vdots & \vdots & \ddots & \vdots\\
1 & x_n1 & x_n2 & \cdots & x_{np} \\
\end{pmatrix}\)参数向量：\(A = \begin{pmatrix}
a_0 & a_1 & \cdots & a_p
\end{pmatrix}
^{T}\)标签：\(Y = \begin{pmatrix}
y_1 & y_2 & \cdots & y_n
\end{pmatrix}
^T\)
我们令\(X\)的第\(i\)行构成的列向量为\(x_i\)
我们做如下假设：
预测数据\(\hat y\)与真实数据\(y\)的误差\(\epsilon \sim N(0, \sigma^2)\)。因为\(y = A^Tx + \epsilon\)，所以\(y \sim N(A^Tx, \sigma^2)\)。
密度函数\(f(y) = \frac{1}{\sqrt{2\pi}\sigma}e^{\frac{(y-A^Tx)^2}{2\sigma^2}}\)，根据极大似然估计法估计参数\(A\)的值。
似然函数\(L(A) = \prod_{i = 1}^{n}\frac{1}{\sqrt{2\pi}\sigma}e^{\frac{(y_i-A^Tx_i)^2}{2\sigma^2}}\)
取对数后得到
\(\ln{L(A)} = \sum_{i = 1}^{n}\ln{\frac{1}{\sqrt{2\pi}\sigma}} + \sum_{i = 0}^{n}\ln{e^{\frac{(y_i-A^Tx_i)^2}{2\sigma^2}}}\)\(\Rightarrow\)\(\underset{A}{\arg\max}\,\ln{L(A)} = \underset{A}{\arg\min}\,\sum_{i = 0}^{n}(y_i-A^Tx_i)^2\)
我们不难推导出\(\sum_{i = 0}^{n}(y_i-A^Tx_i)^2 = \begin{Vmatrix} XA - Y \end{Vmatrix}
^2\)，推导过程如下：
\(\sum_{i = 0}^{n}(y_i-A^Tx_i)^2 = \sum_{i = 0}^{n}(A^Tx_i - y_i)^2\)
上式根据求和符号逐项拆开可得
\((A^Tx_1 - y_1, A^Tx_2 - y_2,...,A^Tx_n - y_n)(A^Tx_1 - y_1, A^Tx_2 - y_2,...,A^Tx_n - y_n)^T\)
左边一项可以写成\(A^TX^T - Y^T = (XA-Y)^T\)，左边一项是左边项的转置，故右边项为\((XA-Y)\)
所以\(\sum_{i = 0}^{n}(y_i-A^Tx_i)^2 = (XA-Y)^T(XA-Y)= \begin{Vmatrix} XA - Y \end{Vmatrix}
^2\)
综上所述\(\underset{A}{\arg\max}\,\ln{L(A)} = \underset{A}{\arg\min}\,\begin{Vmatrix} XA - Y \end{Vmatrix}
^2\)，求解过程过程和最小二乘法求极值法一致
几何角度
对于预测向量\(\hat y = a_0 + a_1x_1 + a_2x_2 + \cdots +a_px_p\)，可以看成\(p+1\)个列向量\(1, x_1, x_2, ..., x_p\)的线性组合，系数构成稀疏向量A。实际的标签向量\(Y\)为\(p+1\)个列向量张成的空间外的一个向量。
我们的目标是在\(p+1\)个列向量张成的空间中寻求出\(\hat Y\)，使得\(Y\)和\(\hat Y\)的距离最小。显然当\(Y - \hat Y\)与\(p+1\)个列向量张成的空间垂直时\(Y\)和\(\hat Y\)的距离最小。
此时\((1, x_1, x_2, ..., x_p)^T(Y - \hat Y) = X^T(Y - \hat Y) = 0\)
即\(X^T(Y - XA) = 0\)\(\Rightarrow\)\(X^TY - X^TXA = 0\)⇒\(A = (X^TX)^{-1}X^TY\)
梯度下降优化求解
线性回归系数解析解\(A = (X^TX)^{-1}X^TY\)，可以看到对于解析解必须满足数据矩阵\(X\)是列满秩的，否则不能求出\(X^TX\)的逆矩阵。
有时我们并不需要求出解析解，此时我们就可以使用梯度下降的方法优化损失函数，求解系数向量A。
我们有损失函数\(L = \frac{1}{n}\begin{Vmatrix}
\hat Y - Y
\end{Vmatrix}
^2\)，使用梯度下降法，不断更新A的值。