七、(10分) 设 $n$ 阶方阵 $A,B$ 满足 $AB=BA$ 且 $r(A)\geq n-1$. 证明:
$$r(A^2)+r(B^2)\geq 2r(AB).$$
证明 我们按照 $A$ 的秩分两种情况进行证明.
Case 1 若 $r(A)=n$, 即 $A$ 为非异阵, 则
$$r(A^2)+r(B^2)-2r(AB)=n+r(B^2)-2r(B).$$
由高代白皮书第四版例 3.66 (Sylvester 不等式) 可得 $r(B^2)\geq 2r(B)-n$, 从而要证的不等式成立. 也可以由高代白皮书第四版例 7.52 得到, $n+r(B^2)-2r(B)$ 等于 $B$ 的 Jordan 标准型中特征值 $0$ 的一阶 Jordan 块的个数, 从而大于等于零.
Case 2 若 $r(A)=n-1$, 注意到题目的条件和结论在同时相似变换 $A\mapsto P^{-1}AP$, $B\mapsto P^{-1}BP$ 下不改变, 故不妨从一开始就假设 $A=\mathrm{diag}\{A_0,A_1\}$ 为 Jordan 标准型, 其中 $A_0,A_1$ 分别是零特征值和非零特征值的 Jordan 块拼成的分块对角阵. 由于特征值 $0$ 的几何重数等于 $n-r(A)=1$, 故 $A_0=J_k(0)$ 为一个幂零 Jordan 块, 其中 $k\geq 1$. 由 $AB=BA$ 以及高代白皮书第四版例 6.90 可知 $B=\mathrm{diag}\{B_0,B_1\}$ 也为分块对角阵, 且满足 $A_0B_0=B_0A_0$, $A_1B_1=B_1A_1$. 注意到 $A^2=\mathrm{diag}\{A_0^2,A_1^2\}$, $B^2=\mathrm{diag}\{B_0^2,B_1^2\}$, $AB=\mathrm{diag}\{A_0B_0,A_1B_1\}$, 故
$$r(A^2)=r(A_0^2)+r(A_1^2),\,\,r(B^2)=r(B_0^2)+r(B_1^2),\,\,r(AB)=r(A_0B_0)+r(A_1B_1).$$
由 $A_1$ 非异以及 Case 1 可得 $r(A_1^2)+r(B_1^2)\geq 2r(A_1B_1)$, 因此我们只要证明
$$r(A_0^2)+r(B_0^2)\geq 2r(A_0B_0)\quad\cdots\cdots(*)$$
成立, 就能得到要证的不等式也成立. 下面给出证明 $(*)$ 式的两种方法.
方法一 由 $A=J_k(0)$, $A_0B_0=B_0A_0$ 以及高代白皮书第四版例 7.29 可知, $B_0$ 可表示为 $A_0$ 的小于 $k$ 次的多项式. 若 $B_0=O$, 则 $(*)$ 式显然成立. 下设 $B_0=c_tA_0^t+\cdots+c_{k-1}A_0^{k-1}$, 其中 $c_t\neq 0$, $0\leq t\leq k-1$. 注意到 $r(A_0^i)\geq k-i$, 其中当 $0\leq i\leq k$ 时取等号, 当 $i>k$ 时取严格大于号, 故
$$r(A_0^2)+r(B_0^2)\geq (k-2)+(k-2t)=2(k-t-1)=2r(A_0B_0),$$
即 $(*)$ 成立.
方法二 显然 $r(A_0^2)\geq k-2$, 并且由 Sylvester 不等式可得 $2r(B_0)\leq r(B_0^2)+k$. 若 $r(A_0B_0)<r(B_0)$, 则
$$2r(A_0B_0)\leq 2(r(B_0)-1)\leq r(B_0^2)+(k-2)\leq r(A_0^2)+r(B_0^2),$$
即 $(*)$ 成立. 若 $r(A_0B_0)=r(B_0)$, 注意到 $A_0^k=O$ 且 $A_0B_0=B_0A_0$, 故由高代白皮书第四版例 4.49 可得 $B_0=O$, 此时 $(*)$ 式也成立. $\Box$
注 (1) 当 $r(A)\leq n-2$ 时, 本题的结论一般不成立. 例如,
$$A=\begin{pmatrix} 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 0 \\ \end{pmatrix},\,\,\,\,B=\begin{pmatrix} 1 & 1 & -1 & -1 \\ 0 & 1 & 0 & -1 \\ 1 & 1 & -1 & -1 \\ 0 & 1 & 0 & -1 \\ \end{pmatrix},$$
容易验证 $AB=BA$, $A^2=B^2=O$, $r(A)=r(B)=2$, $r(AB)=1$.
(2) 本题获得 9 分以上的同学有: 张家溢, 李燊旭, 肖竣严, 何乐为.