《矩阵分解与广义逆矩阵》学习笔记

本文系统地介绍了矩阵之间的等价、相似和合同关系，以及几种重要的矩阵分解技巧，包括核心－幂零分解、Hartwig-Spindelböck分解和广义逆矩阵的构造方法。本文还讨论了矩阵分解在工程领域的一些应用，例如求解线性方程组、最小二乘问题、奇异值分解等。本文利用了一些数学语言和自然语言来表达矩阵理论的概念和性质.

第一部分 矩阵的分类与不变量

这一部分总结了矩阵之间的等价、相似和合同关系，以及它们的不变量。这些关系和不变量在矩阵分解和广义逆矩阵的构造中起到了重要的作用。

1. $A$,$B$等价

   $A$, $B$等价$\iff A$可以通过初等行变换或者初等列变换变成$B$.
   如果存在$m$阶可逆矩阵$P$和$n$阶可逆矩阵$Q$，使得
   $$
   A=P\begin{pmatrix}E_r & O \\ O & O\end{pmatrix}Q,
   $$
   其中$r=\operatorname{rank}(A)=\operatorname{rank}(B)$，$E_r$是$r$阶单位矩阵，$O$是零矩阵。这个分解式称为$A$的标准分解式。这里，秩是矩阵的一个重要的不变量，它表示矩阵的最大线性无关行(或列数)，也就是矩阵所对应的线性映射的秩。等价关系具有自反性、对称性和传递性，因此可以把所有$m \times n$矩阵分为若千个等价类，每个等价类中的矩阵都有相同的秩，并且都可以化为如上所示的标准形。

   等价关系具有以下性质：

   • 等价关系是一种等价关系，即满足自反性、对称性和传递性。
   • 等价关系不改变矩阵的秩，即$\operatorname{rank}(A)=\operatorname{rank}(B)$。
   • 等价关系可以用初等变换来实现，即通过有限次的行变换或列变换，可以把一个矩阵变成另一个等价的矩阵。
   • 等价关系可以用于判断两个矩阵是否相等，即两个矩阵相等的充分必要条件是它们等价于同一个标准形。

2. $A$,$B$相似

   $A$, $B$相似$\iff$存在$n$阶可逆矩阵$P$，使得$B=P^{-1}AP$.

   或者说，如果它们表示同一个线性映射在不同基下的矩阵。相似关系也具有自反性、对称性和传递性，因此可以把所有nxn矩阵分为若千个相似类，每个相似类中的矩阵都有相同的特征多项式、特征值、迹和行列式等代数不变量。另外每个相似类中都存在一个最简单的标准形，称为 Jordan 标准形，它是由若干个 Jordan 块组成的分块对角矩阵，每个Jordan 块是一个上三角矩阵，其主对角线上都是同一个特征值，其次对角线上都是 1。 Jordan 标淮形在不计较 Jordan块顺序的情况下是唯一确定的。另外，如果一个矩阵可以相似对角化，即相似于一个对角矩阵，则它必须满足其最小多项式没有重根。

   相似关系具有以下性质：

   • 相似关系是一种等价关系，即满足自反性、对称性和传递性。
   • 相似关系不改变矩阵的特征值和特征多项式，即$\det(A-\lambda I)=\det(B-\lambda I)$。
   • 相似关系可以用于判断两个矩阵是否相同，即两个矩阵相同的充分必要条件是它们相似于同一个对角形。
   • 相似关系可以用于求解线性方程组或线性微分方程组，即通过相似变换，可以把一个复杂的方程组化为一个简单的方程组。

3. $A$,$B$合同

   $A$, $B$合同$\iff$存在$n$阶可逆矩阵$P$，使得$B=P^TAP$.

   或者说，如果它们表示同一个二次型在不同基下的矩阵。合同关系也具有自反性、对称性和传递性，因此可以把所有nxn矩阵分为若干个合同类。对于实对称矩阵而言，它们合同的充分必要条件是它们具有相同的正惯性指数和负惯性指数，这两个数表示实对称矩阵所对应的二次型正定部分和负定部分的维数。另外，每个合同类中都存在一个最简单的标淮形，称为规范形，它是由若干个1和-1 组成的对角矩阵。规范形在不计较1 和-1顺序的情况 下是唯一确定的。另外，如果一个实对称矩阵是正定或负定或半正定或半负定，则它必须满足其所有特征值都是正数或负数或非负数或非正数。

   合同关系具有以下性质：

   • 合同关系是一种等价关系，即满足自反性、对称性和传递性。
   • 合同关系不改变矩阵的秩和正惯性指数（正特征值的个数），即$\operatorname{rank}(A)=\operatorname{rank}(B)$，$\operatorname{p}(A)=\operatorname{p}(B)$。
   • 合同关系可以用于判断两个实对称矩阵是否相等，即两个实对称矩阵相等的充分必要条件是它们合同于同一个对角形，并且对角元素按从大到小排列。
   • 合同关系可以用于求解实二次型或实二次微分方程组，即通过合同变换，可以把一个复杂的二次型化为一个标准形或规范形。

第二部分 矩阵分解

1. 核心-幂零分解：任意一个$n\times n$复矩阵$A$都可以唯一地分解为
   $$
   A=A_1+A_2,
   $$
   其中$r(\operatorname{rank}(A_1))=r(\operatorname{rank}(A_2))=r(\operatorname{rank}(A))$, $A_1A_2=A_2A_1=O$, $A_2^k=O$, 其中$k>0$. 这个分解式称为核心-幂零分解。它具有以下性质：

   • $A_1=AAdA$, 其中$dA=A^+$是Drazin逆（广义逆）。
   • $A_2=A-AAdA=(I-A^+A)A=A(I-AA^+)$.
   • $d(A_1)=d(A)$, $d(A_2)=0$, 其中$d(A)$表示最小多项式（最小次数且能整除特征多项式）。
   • $s(A_1)=s(A)$, $s(A_2)=0$, 其中$s(A)$表示谱半径（最大模特征值）。

   核心-幂零分解是指把一个$n \times n$复矩阵$A$分解成两个矩阵$A_1$和$A_2$的和，其中$A_1$是$A$的核心部分，即满足$A_1^2$=$A_1$的部分，而$A_2$是幂零部分，即满足$A_2^k=0$的部分，而且这两个部分相互正交，即$A_1A_2=A_2A_1=0$。这种分解可以用如下定理给出：

   设$A$为$n \times n$复矩阵，则存在$n \times n$复矩阵 $A_1$, $A_2$ 满足，$A=A1 +A2$且

   • $\operatorname{rank}(A_1^2)=\operatorname{rank}(A_1)$，
   • $A_1A_2=A_2A_1=0$
   • $A_2$是幂零矩阵, 即存在正整数$k$，使得$A_2^k=0$。

2. Hartwig-Spindelböck分解:任意一个$n\times n$复矩阵$A$都可以唯一地分解为

   $$
   A=U\begin{pmatrix}\Sigma K & \Sigma L \\ O & O \end{pmatrix}U^H,
   $$

   其中$\Sigma=\operatorname{diag}(\sqrt{\lambda_1},\ldots,\sqrt{\lambda_r})$, $\lambda_1,\ldots,\lambda_r>0$是非零奇异值（非零特征值）， $K,L,O,U,U^H$都是酉矩阵（满足 $UU^H=U^HU=I$, $I$是单位矩阵），并且满足 $KK^H+LL^H=I$. 这个分解式称为Hartwig-Spindelböck分解。它具有以下性质：

   • $K,L,O,U,U^H$都与$\Sigma,A,A^H,AA^H,A^HA$相容（满足交换律）。
   • $\Sigma K,\Sigma L,O,O$都与$\Sigma,A,A^H,AA^H,A^HA$不相容（不满足交换律）。
   • $\Sigma K,\Sigma L,O,O$都与$\Sigma K,\Sigma L,O,O$相容（满足交换律）。
   • $\Sigma K,\Sigma L,O,O$都与$\Sigma K,\Sigma L,O,O$不可约（不能再进一步分解）。

3. Core-EP分解: 将一个矩阵分解为一个半单矩阵和一个可逆矩阵的和，其中半单矩阵是指与对角矩阵相似的矩阵。
   这种分解的优点是可以将矩阵的特征值和特征向量分离出来，从而方便进行矩阵的运算和分析。

4. EP-幂零分解: 将一个矩阵分解为一个可逆矩阵和一个幂零矩阵的和，其中幂零矩阵是指存在正整数k使得矩阵的k次方为零矩阵。
   这种分解的优点是可以将矩阵的秩和核心部分分离出来，从而方便进行矩阵的偏序和广义逆的研究。

5. 广义逆矩阵：任意一个$m\times n$复矩阵 $X$都存在一个$n\times m$复矩阵 $X^{(k)}$满足以下四个条件：
   $$
   XX^{(k)}X=X, \quad X^{(k)}XX^{(k)}=X^{(k)}, \quad (XX^{(k)})^H=XX^{(k)}, \quad (X^{(k)}X)^H=X^{(k)}X.
   $$

   这个矩阵 $X^{(k)}$称为 $X$的广义逆矩阵，其中 $k$是一个非负整数，表示 $X^{(k)}$的秩。广义逆矩阵具有以下性质：

   • 广义逆矩阵是唯一的，即如果 $X^{(k)}$和 $Y^{(k)}$都是 $X$的广义逆矩阵，则 $X^{(k)}=Y^{(k)}$.
   • 广义逆矩阵的秩等于原矩阵的秩，即 $\operatorname{rank}(X)=\operatorname{rank}(X^{(k)})=k$.
   • 广义逆矩阵的广义逆矩阵等于原矩阵，即 $(X^{(k)})^{(k)}=X$.
   • 广义逆矩阵可以用于求解线性方程组或线性最小二乘问题，即如果 $AX=B$是一个线性方程组或线性最小二乘问题，则 $A^{(k)}B$是一个解，其中 $A^{(k)}$是 $A$的广义逆矩阵。
   • 广义逆矩阵可以用Hartwig-Spindelböck分解来求得，即如果
     $$
     A=U\begin{pmatrix}\Sigma K & \Sigma L \\ O & O \end{pmatrix}U^*
     $$
     是 $A$的Hartwig-Spindelböck分解，则
     $$
     A^{(k)}=U\begin{pmatrix}K\Sigma^{-1} & O \\ O & O \end{pmatrix}U^*
     $$是 $A$的广义逆矩阵。

(注：在文中出现的$A^H$是指$A$的共轭转置，即$A^H=\bar{A}^T$)