线性方程组的理解

$\mathrm{1.For\ AX=b}$ .

01 从向量到线性表示

• 在三维空间中，表示一个向量的一般结构为：
  • $a\cdot\vec{i}+b\cdot\vec{j}+c\cdot\vec{k}$
• 它可以被写成：
  • $\displaystyle{ \left[\begin{array}{lll}
    \vec{i} \ ,
    \vec{j} \ ,
    \vec{k}
    \end{array}\right]\cdot
    \left[\begin{array}{lll}
    a \
    b \
    c
    \end{array}\right]=
    a\cdot\vec{i}+b\cdot\vec{j}+c\cdot\vec{k}=\vec{v} }$ .
• 那么，可不可以将非齐次线性方程化为这种形式？
• 由此，我们可以联想，将矩阵 $\rm{A}$ 进行列分块，与纵向量相乘，
• 得到类似基底线性表出向量的结构

02 列观点解构矩阵

• 列观点解构矩阵：$AX=b$

• $\displaystyle{ \left[\begin{array}{lll}
  2 & 1 & 1 \
  1 & 2 & 1 \
  2 & 3 & 1
  \end{array}\right]
  \left[\begin{array}{lll}
  x_1 \
  x_2 \
  x_3
  \end{array}\right]=
  \left[\begin{array}{lll}
  \alpha_1 \ ,
  \alpha_2 \ ,
  \alpha_3
  \end{array}\right]\cdot
  \left[\begin{array}{lll}
  x_1 \
  x_2 \
  x_3
  \end{array}\right]=
  \alpha_1\cdot x_1+
  \alpha_2\cdot x_2+
  \alpha_3\cdot x_3=b }$ .

03 向量空间

• 以下名称和定义均不是正规的数学定义，为了方便理解做了大量简化！

(1) 全体空间

• 方程组所讨论的全体向量空间构成的空间集合
• 类似于集合论中全集 $\rm{\Omega}$ 的概念
• 记作 $\rm{V-Space(\Omega)}$ 或者 $\rm{V(\Omega)}$，简称全体空间。

(2) 列空间

• 将矩阵 $\rm{A}$ 进行列分块，得到一组列向量
• 这组列向量的极大无关组构成一组基
• 由这组基构成的向量空间就是由矩阵 $\rm{A}$ 构成的列空间
• 记作 $\rm{C-Space(A)}$ 或者 $\rm{C(A)}$，简称列空间。

(3) 子空间

• 如果向量空间 $\rm{S_1}$ 的所有向量均属于向量空间 $\rm{S}$，那么称向量空间 $\rm{S_1}$ 是向量空间 $\rm{S}$ 的一个子空间。
• 如果向量空间 $\rm{S_1}$ 是向量空间 $\rm{S}$ 的一个子空间，且存在非零向量属于 $\rm{S}$ 且不属于 $\rm{S_1}$，
  • 那么则称向量空间 $\rm{S_1}$ 是向量空间 $\rm{S}$ 的一个真子空间。

04 向量的线性表出

• 观察列观点的矩阵等式，我们可以将 $(\alpha_1 \ ,\alpha_2 \ ,\alpha_3)$ 视作一组基，$x$ 的不同取值表示不同的向量
• 那么，如果给定了一个向量 $b$ 和一组固定的 $\alpha$ 基底，那么方程组有解和无解分别对应了：
  • 方程组有解 $\Rightarrow$ 这组基可以将给定的向量线性表出 $==$ 向量落入了这组基构成的列空间中
  • 方程组无解 $\Rightarrow$ 这组基不能将给定的向量线性表出 $==$ 向量并不在这组基构成的列空间中
    • 进一步想，什么情况下，一个空间不能表示一个向量？
    • 当这个向量的维度比这个空间的维度高时
• 由此，我们得到了非齐次线性方程组的几何意义：
  • 给定的向量 $\rm{b}$ 是否落入矩阵 $\rm{A}$ 的列空间
  • 如果落入，基底对应的坐标是多少

05 从空间关系到解的判定

(1) 增广矩阵

• 增广矩阵的字面意思：(试图)增加拓广(系数矩阵的)秩的矩阵。
• 在系数矩阵各个列向量构成的向量子空间（即列空间）中加入b向量，以期望增加拓宽向量空间的维度。
• 在系数矩阵 $\rm{A}$ 中横向排列向量 $\rm{b}$，这个行为在几何上表示：
  • 将一个向量强行插入到原本的向量空间中，看这个向量能否把原本的向量空间撑开。
  • 原来有一个 $3cm$ 长小棍子支起来的小房子，插入一个 $1m$ 或者 $1cm$ 长的棍子，小房子会不会被撑破。

(2) 结论一览

• if $\rm{r(A)\neq r(\overline{A})}$ ，then 方程一定无解
• if $\rm{r(A)= r(\overline{A})}$ ，then 方程一定有解
  • if $\rm{r=n}$ ，then 方程有唯一解
  • if $\rm{r<n}$ ，then 方程有无穷解

(3) 几何解释

• 先求解系数矩阵 $A$ 和增广矩阵 $\overline{A}$ 的秩，判断 $\rm{r(A)}$ 与 $\rm{r(\overline{A})}$ 的关系

• 如果增广秩不等于系数秩，只可能是增广秩大于等于系数秩

  • 如果增广秩大于系数秩，说明列空间确实被向量 $\rm{b}$ 拓宽了，
  • 也就是说向量 $\rm{b}$ 的维数一定高于原有列空间的维数，
  • 那么原来的列空间就不能够表出向量 $\rm{b}$ ，因为低维度空间不能表出高维度向量。

• 如果增广秩等于系数秩，说明列空间其实没有被向量 $\rm{b}$ 拓宽，

  • 也就是说向量 $\rm{b}$ 的维度并不会比列空间高，
  • 换句话说，向量 $\rm{b}$ 一定落在列空间中，
  • 那么列空间一定可以线性表出向量 $\rm{b}$ ，线性方程组一定有解。

• 当 增广秩与系数秩 均等于 $\rm{n}$ 时，

  • 说明列空间将整个向量空间充满，
  • 那么对于列空间中的向量，被坐标唯一确定，其表出方式仅有一种
  • $\rm{n}$ 维空间会唯一锁定 $\rm{n}$ 维向量

• 当 增广秩与系数秩 均小于 $\rm{n}$ 时，

  • 说明列空间不能将向量空间充满，列空间是一个真子空间。

  • 处于向量空间中的解向量映射到列空间确定唯一的向量 $\rm{b}$ ，这样的解向量 $X$ 可以找到无数个，

  • 因为能够映射到低维度空间某一确定向量的高维度向量存在无数个。

  • 为什么？$\Rightarrow$ 矩阵函数观点解释

06 矩阵函数观点

• $AX=b$ 可以看作一个函数，向量 $X$ 通过特定的法则（在这里表现为线性变换 $A$ ）变换为向量 $b$ .

• 假如向量 $X$ 的维度 $n_1$ 大于向量 $b$ 的维度 $n_2$，且高维空间的向量比低维空间的向量多无穷个。

• 那么函数式 $AX=b$ 可以看作：高维空间向量通过线性变换到低维向量的映射过程。

• 那么高维空间的向量几何构成了函数的定义域，低维向量构成了值域。

  • 这意味着，对于同一个低维向量，均有多个高维向量与其对应（抽屉原理）。
  • 因为高维空间的每个向量到低维空间均有其映射。

• 集合论的观点上，这种映射关系一定不会是单射，而且是无穷对 $1$ 的非单射关系。

  • 三维空间中，被唯一 $x$ 和 $y$ 锁定的 $z$ 坐标依然有无穷个。

• 所以，当增广秩与系数秩均小于 $\rm{n}$ 时，方程组有无穷解。

07 解的结构分析

(1) 解的结构

• 非齐次线性方程组 $AX=b$ 有特解 $\eta$ ，

• 对应的齐次线性方程组 $AX=0$ 有基础解系 $\xi_1,\xi_2,\cdots,\xi_n$，

• 则 $A x=b$ 的通解为 $k_1 \xi_1+k_2 \xi_2+\cdots+k_{n-r} \xi_{n-r}+\eta$ .

  • 其中 $k_1, k_2, \cdots, k_{n-r}$ 是任意常数

(2) 推论

• 推论形式

  • $\eta\ ,\ \eta+\xi_1\ ,\ \eta+\xi_2\ ,\ \cdots\ ,\ \eta+\xi_{n-r}$ 是 $AX=b$ 的 $n-r+1$ 个线性无关的解.

  • 方程组 $AX=b$ 的任一解均可由 $\eta\ ,\ \eta+\xi_1\ ,\ \eta+\xi_2\ ,\ \cdots\ , \ \eta+\xi_{n-r}$ 线性表示.

• 推导过程

  • $X=k_1\xi_1+k_2\xi_2+\cdots+k_n\xi_n+\eta$ .
  • $X=k_1(\xi_1+\eta)+k_2(\xi_2+\eta)+\cdots+k_n(\xi_n+\eta)+(1-k_1-\cdots k_n)\eta$ .
  • $k_1,k_2,\cdots,k_n$ 不全为 $0$，所以 $\xi_i+\eta$ 构成向量空间一组新的基

• 几何解释

  • 原向量 $+\eta$ ，原向量在向量空间中进行了平移变换操作

  • 对向量组进行相同的平移变换不影响原向量组向量间的线性相关关系

  • 核心就是“坐电梯”

$\mathrm{2.For\ AX=0}$ .

01 从 $0$ 到内积

• 矩阵 × 向量 = 0，很容易联想到向量 $×$ 向量 $=$ $0$，
• 由于 $X$ 是纵向量，”自然“想到将矩阵进行”行分块“，
• 得到 横向量 $×$ 纵向量 $=$ $0$ 的形式

02 行观点解构矩阵

• 行观点解构矩阵：$AX=0$
• $\displaystyle{ \left[\begin{array}{lll}
  2 & 1 & 1 \
  1 & 2 & 1 \
  2 & 3 & 1
  \end{array}\right]
  \left[\begin{array}{lll}
  x_1 \
  x_2 \
  x_3
  \end{array}\right]=
  \left[\begin{array}{lll}
  \alpha_1 \
  \alpha_2 \
  \alpha_3
  \end{array}\right]\cdot
  X=\left[\begin{array}{lll}
  \alpha_1\cdot X \
  \alpha_2\cdot X \
  \alpha_3\cdot X
  \end{array}\right]=0 }$ .
• 解向量 $X$ 作为待求解的目标向量需要确保其完整性（该向量在分析中不能被分解）
• 从矩阵向量相乘性的角度，将矩阵 $\rm{A}$ 进行行分块，可以得到 $X×Y$ 的形式，
• 从内积的角度上，这样就满足了内积的形式，找到了向量 $X$ 与其它向量的正交关系
• 也就是说，向量 $X$ 与矩阵 $\rm{A}$ 的三个行向量均正交/垂直，得到最后内积和为 $0$ 的结果。

03 向量空间

• 以下名称和定义均不是正规的数学定义，为了方便理解做了大量简化！

(1) 全体空间

• 方程组所讨论的全体向量空间构成的空间集合
• 类似于集合论中全集 $\rm{\Omega}$ 的概念
• 记作 $\rm{V-Space(\Omega)}$ 或者 $\rm{V(\Omega)}$，简称全体空间。

(2) 行空间

• 将矩阵 $\rm{A}$ 进行行分块，得到一组行向量
• 这组行向量的极大无关组构成一组基
• 由这组基构成的向量空间就是由矩阵 $\rm{A}$ 构成的行空间
• 记作 $\rm{R-Space(A)}$ 或者 $\rm{R(A)}$，简称行空间。

(3) 零空间

① 零空间的解释

• 所有满足线性方程的 $\rm{X}$ 向量共同构成一个向量空间，
• 它表示所有与矩阵行向量正交的向量所构成的空间集合
• 或者说，它表示与行空间正交的向量空间
• 记作 $\rm{N-Space(X)}$ 或者 $\rm{N(X)}$，简称零空间。

② 零空间正交于行空间

• 显然有，$\rm{R-Space(A)}$ 正交于 $\rm{N-Space(X)}$ ，两个向量空间的任意向量均正交

• $\rm{N-Space(X)}$ 也称作零空间，即将行空间映射到零向量的向量空间

• 在线性方程组中我们把它叫做齐次解空间。

04 从空间关系到解的判定

(1) 空间关系

• 关于 $\rm{R-Space(A)}$ 正交于 $\rm{N-Space(X)}$ 完整的几何表述
  • “$\mathrm{AX=0}$ 的解是 $\mathrm{A}$ 的行向量张成的空间的正交补空间。”
• 这句话体现了以下的几个意思
  • 零空间是行空间关于全体空间的正交补空间
  • 零空间和行空间相互正交
  • 零空间和行空间构成了一个划分/完备事件组
    • 借用集合论的概念，划分就是互为划分关系的集合交集为空集，并集为全集
    • 借用概率论的概念，完备事件组表示各个事件互斥且概率和为 $1$ .
    • 简单地说，零空间和行空间没有公共向量，且两空间的和为全体空间

(2) 解的判定

• 空间的几何关系给出了以下的结论

  • 行向量的列数表明了所研究向量所在全集空间的维度。

  • $\mathrm{r(R(A))+r(N(X))=n}$

  • $\mathrm{r(A)<n}$，方程组无穷解

  • $\mathrm{r(A)=n}$，方程组唯一零解

• 空间关系的解释

  • 行空间与零空间必须占据向量空间的不同维度，才会正交

  • 或者说，如果两个向量完全处在不同的维度，那么它们一定正交。

  • 就像在三维空间中，平行于x轴的向量 和 平行于y 轴的向量，分别占据了不同的坐标维度，才会正交。

• 解的判定的解释

  • $\mathrm{r(A)=n}$，等价于行空间占满了整个向量空间，留给零空间的维度坍缩到零向量，所以有唯一零解。

  • $\mathrm{r(A)<n}$，等价于行空间有部分维度没有占据，没有占据的部分留给零空间，这些维度上向量可以自由取值，也就是无穷解。

05 无穷解的基础解系

(1) 行观点

• 我们对系数矩阵 A 进行高斯消元/初等行变换/为保持行等价，得到形如下列的行阶梯形矩阵：

• 

• $// exp$：黄色向量表示主元 $pivots$ 所在行向量，它作为空间的基构建起整个行空间

(2) 列观点

• 然后我们把观点切换到列（Column），这种观点的构建思想仿照非齐次线性方程组

• $\displaystyle{ \left[\begin{array}{lll}
  1 & 0 & -1 & 0 & 4 \
  0 & 1 & -1 & 0 & 3 \
  0 & 0 & 0 & 1 & -3 \
  0 & 0 & 0 & 0 & 0
  \end{array}\right]
  \left[\begin{array}{lll}
  x_1 \ x_2 \
  x_3 \ x_4 \
  x_5
  \end{array}\right]=
  \left[\begin{array}{lll}
  \alpha_1 \ ,\ \alpha_2 \ ,
  \alpha_3 \ ,\ \alpha_4 \ ,
  \alpha_5
  \end{array}\right]\cdot
  \left[\begin{array}{lll}
  x_1 \ x_2 \
  x_3 \ x_4 \
  x_5
  \end{array}\right]=
  \alpha_1\cdot x_1+\alpha_2\cdot x_2+
  \alpha_3\cdot x_3+\alpha_4\cdot x_4+
  \alpha_5\cdot x_5=b=0 }$

• 

• 自由列是主列的线性组合，如果想求得主列，可以通过自由列进行线性表出，自由列有 $n - r$ 个。

• 我们希望能够得到一组关于 $x$ 的解，而且保证这组解的向量线性无关。

• 存在自由列和主列，说明存在一部分 $x$ 对另一部分的 $x$ 产生了限制。这是找到通用表达式的基础。

  • $\displaystyle{ \alpha_1\cdot x_1+\alpha_2\cdot x_2+
    \alpha_4\cdot x_4=-\alpha_3\cdot x_3-\alpha_5\cdot x_5 }$ ，
  • $\displaystyle{ \left[\begin{array}{lll}
    \alpha_1 \ ,\ \alpha_2 \ ,
    \alpha_4
    \end{array}\right]\cdot
    \left[\begin{array}{lll}
    x_1 \ x_2 \
    x_4
    \end{array}\right]=\left[\begin{array}{lll}
    -\alpha_3 \ ,\ -\alpha_5
    \end{array}\right]
    \left[\begin{array}{lll}
    x_3 \ x_5
    \end{array}\right] }$ .

• 所有的自由列最多可以构成一个同构于主列为基的向量空间，前提是自由列的取值需要最大张开。

• 换句话说，当自由列取正交的一组值时，它决定/确定了主列，同时也将这个列空间最大张开。

• 也可以说，当 $x_3$、$x_5$ 取定时，$x_1$、$x_2$、$x_4$ 也会被取定，方程的一组解就会被确定。

• 所以自由变量其实相当于解空间的主元。基础解系的个数也由此而来。

• 以下是知乎上关于自由列的解释，供参考

• 

本栏目推荐文章
• 线性表
• 【机器学习】多元线性回归
• 【算法】【线性表】【链表】删除排序链表中的重复元素 II
• 【算法】【线性表】【链表】删除排序链表中的重复元素
• 用C#使用NumSharp实现简单的线性回归
• 用C#实现简单的线性回归
• 【算法】【线性表】【链表】分隔链表
• 线性代数期末速通
• 非线性状态误差反馈NLSEF
• 【算法】【线性表】【链表】反转链表II

方程组 线性 方程方程组 线性 方程 非线性 方程 方程组 解法 线性 方程 线性 方程 方程组 线性 方程 线性代数 方程组 矩阵 线性 方程 方程组 乘法 线性 方程 线性 方程组 线性代数 代数 方程组 线性 方程 计算器 方程组 线性 方程 笔记