我们之前介绍过逆矩阵，可逆矩阵在线性代数中地位重要，应用方便。但遗憾的是，不是所有的矩阵都是可逆矩阵。我们有必要对矩阵的逆进行推广，使得每个矩阵甚至是非方块的矩阵都有广义的逆。
设 $ \boldsymbol{A} $ 是 $ n \times n $ 可逆方阵, $ \boldsymbol{b} $ 是任意一个 $ n $ 维向量, 则方程组：
$$
A \boldsymbol{x}=\boldsymbol{b}
$$
总有解, 且解 $ \boldsymbol{x} $ 可表为：
$$
\boldsymbol{x}=\boldsymbol{A}^{-1} \boldsymbol{b}
$$
现设 $ \boldsymbol{A} $ 是任意 $ m \times n $ 阵, $ \boldsymbol{b} $ 是一个 $ m $ 维向量, 是否存在 $ n \times m $ 矩阵 $ \boldsymbol{G} $, 使 得只要方程 $ A x=b $ 有解, 则：
$$
\boldsymbol{x}=\boldsymbol{G b}
$$
这样的矩阵 $ \boldsymbol{G} $ 就涉及到广义逆的概念.
广义逆 (generalized inverse)， 也称伪逆(pseudoinverse)，大多数情况下都是指 Moore-Penrose 广义逆矩阵 (Moore-Penrose pseudoinverse)。
也有说法将 M-P 广义逆矩阵称为伪逆矩阵，在这种表述下伪逆是一种特殊的广义逆。
Moore 广义逆矩阵F. H. Moore 于 1920 年给出了矩阵的广义逆的概念：
Moore 广义逆矩阵.Penrose 广义逆矩阵Moore 广义逆矩阵的含义不容易理解和应用, 因此 Moore 给出的广义逆矩阵一直未被 重视。 直到 1955 年剑桥大学的博士研究生 Roger Penrose 给出了广义逆矩阵的 另一个等价定义, 才使得广义逆矩阵的研究获得迅速发展。
设 $ \boldsymbol{A} \in \mathbb{C}^{m \times n} $, 如果 $ \boldsymbol{G} \in \mathbb{C}^{n \times m} $ 同时满足：
$$ \begin{array}{l} (1) \quad \boldsymbol{A} \boldsymbol{G A}=\boldsymbol{A} ,\\ (2) \quad \boldsymbol{G A} \boldsymbol{G}=\boldsymbol{G} ,\\ (3) \quad (\boldsymbol{A} \boldsymbol{G})^{\mathrm{H}}=\boldsymbol{A} \boldsymbol{G} ,\\ (4) \quad (\boldsymbol{G} \boldsymbol{A})^{\mathrm{H}}=\boldsymbol{G} \boldsymbol{A} , \end{array} $$则称 $ G $ 为 $ A $ 的 Penrose 广义逆矩阵, 简称为 Penrose 广义逆, 记为 $ A^{+} $, 或 $ A^{\dagger} $。
这里 $ A^{H} $ 表示 $ A $ 的共轭转置矩阵。
矩阵的 Moore 广义逆与 Penrose 广义逆是等价的, 并且是唯一的, 故也称为 M-P广义逆 。
M-P广义逆唯一设 $ r=\operatorname{rank}(A) $ ，则必定存在 $ m $ 阶可迕矩阵 $ P $ 以及 $ n $ 阶可迕矩阵 $ Q $, 使得：
$$ A=P\left(\begin{array}{cc}E_{r} & O \\ O & O\end{array}\right) Q $$
设 $ m \times r $ 矩阵 $ B=P\left(\begin{array}{c}E_{r} \\ O\end{array}\right), r \times n $ 矩阵 $ C=\left(\begin{array}{ll}E_{r} & O\end{array}\right) Q $
则 $ B $ 是列满秩矩阵， $ C $ 是行满秩矩阵，且 $ A=B C $ (事实上，任意矩阵都能分解为一个列满秩 矩阵与一个行满秩矩阵的乘积，这种分解叫做满秩分解)
此时 $ C C^{H} ， B^{H} B $ 均为 $ r $ 阶可逆矩阵 (提示: 验证 $ \operatorname{rank}\left(C C^{H}\right)=\operatorname{rank}( C )=r $, 可仿照实 矩阵中二次型的方法，利用复矩阵中共轭二次型予以证明)
令 $ X=C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H}=C^{H}\left(B^{H} A C^{H}\right)^{-1} B^{H} $ ，则 $$ A X A=B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} B C=B C=A $$ $$ \begin{aligned} A X A & =B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} B C=B C=A \\ X A X & =C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} \\ & =C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H} \\ & =X \\ (A X)^{H} & =\left(B C C^{H}\left(C C^{H}\right)^{-1}\left(B^{H} B\right)^{-1} B^{H}\right)^{H} \\ & =\left(B\left(B^{H} B\right)^{-1} B^{H}\right)^{H} \\ & =A X\end{aligned} $$
同理， $ (X A)^{H}=X A $
存在性得证
若 $ Y $ 也是 $ A $ 的M-P广义逆矩阵，则
$$ A Y A=A, Y A Y=Y,(Y A)^{H}=Y A,(A Y)^{H}=A Y $$ $$ \begin{aligned} Y & =Y A Y \\ & =Y A X A Y \\ & =Y(A X)^{H}(A Y)^{H} \\ & =Y(A Y A X)^{H} \\ & =Y(A X)^{H} \\ & =Y A X \\ & =Y A X A X \\ & =(Y A)^{H}(X A)^{H} X \\ & =(X A Y A)^{H} X \\ & =(X A)^{H} X \\ & =X A X \\ & =X\end{aligned} $$
唯一性得证。
M-P广义逆借助奇异值分解 (SVD) 计算 M-P 广义逆矩阵。我们知道对于任意一个矩阵均可以采用 SVD，对 $ m \times n $ 矩阵 $ A $ 分解得：
$$
A=U \Sigma V^{T}
$$
其中， $ U $ 和 $ V^{T} $ 为 $ m \times m $ 的正交单位阵， $ \Sigma $ 为 $ m \times n $ 的对角矩阵。记 $ A $ 的 M-P 广义逆矩阵为 $ A^{+} $，那么有：
$$
A^{+}=V \Sigma^{+} U^{T}
$$
其中， $ \Sigma^{+} $为 $ \Sigma $ 的 M-P 广义逆，计算方法为先将 $ \Sigma $ 对角线上的非零元素取倒数，再将整个矩阵转置，即可得到 $ \Sigma^{+} $。
若矩阵 $ \boldsymbol{G} $ 满足条件 $(1), (2), (3), (4)$ 中的部分或全部, 则称 $ \boldsymbol{G} $ 为 $ \boldsymbol{A} $ 的广 义逆矩阵, 简称为广义逆.
若 $ \boldsymbol{G} $ 只满足条件 (1), 则 $ \boldsymbol{G} $ 为 $ \boldsymbol{A} $ 的 $ {1} $-逆, 记为 $ \boldsymbol{G} \in \boldsymbol{A}{1} $. 若 $ \boldsymbol{G} $ 只满足条件 (1), (2), 则 $ \boldsymbol{G} $ 为 $ \boldsymbol{A} $ 的 $ {1,2} $-逆, 记为 $ \boldsymbol{G} \in \boldsymbol{A}{1,2} $. 满足条件 (1), (2), (3), (4) 的部分或全部的广义逆矩阵共有 15 类, 即：
$$ \mathrm{C}_{4}^{1}+\mathrm{C}_{4}^{2}+\mathrm{C}_{4}^{3}+\mathrm{C}_{4}^{4}=15 $$
常用的广义逆是以下 5 类:
$$ \boldsymbol{A}\{1\}, \quad \boldsymbol{A}\{1,2\}, \quad \boldsymbol{A}\{1,3\}, \quad \boldsymbol{A}\{1,4\}, \quad \boldsymbol{A}^{+} . $$
注意：
只有 $ \boldsymbol{A}^{+} $是唯一的, 而其他各种广义逆矩阵都不是唯一的.
当 $\boldsymbol{A}$ 是可逆矩阵时, 它的所有广义逆矩阵都等于 $\boldsymbol{A} ^ {−1}$ .
证明：
设 $ r=\operatorname{rank}(A) $, 则必定存在 $ m $ 阶可逆矩阵 $ P $ 以及 $ n $ 阶可逆矩阵 $ Q $, 使得：
$$ A=P\left(\begin{array}{cc}E_{r} & O \\ O & O\end{array}\right) Q $$
取 $ X=Q^{-1}\left(\begin{array}{cc}E_{r} & X_{1} \\ X_{2} & X_{2} X_{1}\end{array}\right) P^{-1} $ , 其中 $ X_{1} ， X_{2} $ 分别是任意 $ r \times(n-r) $ 矩阵以及 $ (m-r) \times r $ 矩阵，则这样的 $ X $ 就是 $ A $ 的广义逆矩阵。
上述证明过程提供了求广义逆矩阵的一种方法，从证明过程中也可以看出广义逆矩阵不一定唯一
对于矩阵 $ A=\left(\begin{array}{ll}1 & 0 \\ 0 & 0\end{array}\right) $ ，有: 对任意的复数 $ a, b ， B=\left(\begin{array}{cc}1 & a \\ b & a b\end{array}\right) $ 都是 $ A $ 的广义逆矩阵
- 定理：设 $ A \in \mathbb{C}^{m \times n} $, 则： $$ \begin{array}{l} (1) \quad \left(A^{+}\right)^{+}=A ,\\ (2) \quad \left(A^{H}\right)^{+}=\left(A^{+}\right)^{H} ,\\ (3) \quad \left(A^{H} A\right)^{+}=A^{+}\left(A^{H}\right)^{+}=A^{+}\left(A^{+}\right)^{H},\\ (4) \quad \left(A A^{H}\right)^{+}=\left(A^{H}\right)^{+} A^{+}=\left(A^{+}\right)^{H} A^{+} ,\\ (5)\quad A^{+}=A^{H}\left(A A^{H}\right)^{+}=\left(A^{H} A\right)^{+} A^{H} \end{array} $$
证明 ： (1) (2) (3) (4) 可以通过定义直接验证， 对于(5)
$$ \begin{array}{l}A^{H}\left(A A^{H}\right)^{+}=A^{H}\left(A^{+}\right)^{H} A^{+}=\left(A^{+} A\right)^{H} A^{+}=A^{+} A A^{+}=A^{+} \\ \left(A^{H} A\right)^{+} A^{H}=A^{+}\left(A^{+}\right)^{H} A^{H}=A^{+}\left(A A^{+}\right)^{H}=A^{+} A A^{+}=A^{+}\end{array} $$
需要注意的是，一般来说， $ (A B)^{+}=B^{+} A^{+} $ 不一定成立
定理：设 $ A \in \mathbb{C}^{m \times n} $ ，则 $ \operatorname{rank}(A)=\operatorname{rank}\left(A^{+}\right) $
$$ \begin{array}{c} \operatorname{rank}(A)=\operatorname{rank}\left(A A^{+} A\right) \leq \operatorname{rank}\left(A^{+} A\right) \leq \operatorname{rank}(A) ,\\ \operatorname{rank}\left(A^{+}\right)=\operatorname{rank}\left(A^{+} A A^{+}\right) \leq \operatorname{rank}\left(A^{+} A\right) \leq \operatorname{rank}\left(A^{+}\right) \end{array} $$证明：
对任意的 $ y \in \mathbb{C}^{n} $, 有
$$
A\left(y-A^{+} A y\right)=A y-A A^{+} A y=A y-A y=0
$$
从而 $ x=y-A^{+} A y=\left(E-A^{+} A\right) y $ 是齐次线性方程组的解
反过来，对于齐次线性方程组的任意解 $ x_{0} $ ，有 $ A x_{0}=0 $
$$
x_{0}=x_{0}-0=x_{0}-A^{+} A x_{0}=\left(E-A^{+} A\right) x_{0}
$$
从而 $ x=y-A^{+} A y=\left(E-A^{+} A\right) y $ 是齐次线性方程组的通解。
证明：
充分性： 此时 $ x=A^{+} b $ 就是原线性方程组的特解
必要性： 设 $ x_{0} $ 是原线性方程组的一特解，则 $ A x_{0}=b $
则 $ A A^{+} b=A A^{+} A x_{0}=A x_{0}=b $
证：此时
$$ \begin{aligned}\left(A^{H} A\right)\left(A^{H} A\right)^{+} A^{H} b & =A^{H} A A^{+}\left(A^{+}\right)^{H} A^{H} b \\ & =A^{H} A A^{+}\left(A A^{+}\right)^{H} b \\ & =A^{H} A A^{+} A A^{+} b \\ & =A^{H} A A^{+} b \\ & =A^{H}\left(A A^{+}\right)^{H} b \\ & =\left(A A^{+} A\right)^{H} b \\ & =A^{H} b\end{aligned} $$
即 $x=(A^{H} A)+AHb$ 是线性方程组的一组特解，故原方程组有解
特解可以写为：
$$ \begin{aligned}\left(A^{H} A\right)^{+} A^{H} b & =A^{+}\left(A^{+}\right)^{H} A^{H} b \\ & =A^{+}\left(A A^{+}\right)^{H} b \\ & =A^{+} A A^{+} b \\ & =A^{+} b\end{aligned} $$ 而 ： $$ \begin{aligned} y-\left(A^{H} A\right)^{+}\left(A^{H} A\right) y & =y-A^{+}\left(A^{+}\right)^{H} A^{H} A y \\ & =y-A^{+}\left(A A^{+}\right)^{H} A y \\ & =y-A^{+} A A^{+} A y \\ & =y-A^{+} A y\end{aligned} $$ 故其通解为 ：
$$
x=A^{+} b+y-A^{+} A y
$$
其中 $ y \in \mathbb{C}^{n} $ 是任意的。
从这里也可以看出，两个齐次线性方程组 $ A^{H} A x=0 $ 与 $ A x=0 $ 同解
相容方程组 $ A x=b $ 的通解为：
$$
x=A^{+} b+y-A^{+} A y
$$
其中 $ y \in \mathbb{C}^{n} $ 是任意的，则有：
$$ \begin{aligned} |x|^2=& \left(A^{+} b+y-A^{+} A y\right)^{H}\left(A^{+} b+y-A^{+} A y\right) \\ = & \left(A^{+} b\right)^{H}\left(A^{+} b\right)+\left(A^{+} b\right)^{H}\left(E-A^{+} A\right) y+ \left(\left(E-A^{+} A\right) y\right)^{H}\left(A^{+} b\right)+\left(y-A^{+} A y\right)^{H}\left(y-A^{+} A y\right)\end{aligned} $$ 而： $$ \begin{aligned}\left(A^{+} b\right)^{H}\left(E-A^{+} A\right) y & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+}\right)^{H}\left(A^{+} A\right)\right) y \\ & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+}\right)^{H}\left(A^{+} A\right)^{H}\right) y \\ & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+} A A^{+}\right)^{H}\right) y \\ & =b^{H}\left(\left(A^{+}\right)^{H}-\left(A^{+}\right)^{H}\right) y \\ & =0\end{aligned} $$ 同理 $ \left(\left(E-A^{+} A\right) y\right)^{H}\left(A^{+} b\right)=0 $ 故： $$ \begin{aligned} & \left(A^{+} b+y-A^{+} A y\right)^{H}\left(A^{+} b+y-A^{+} A y\right) \\ = & \left(A^{+} b\right)^{H}\left(A^{+} b\right)+\left(y-A^{+} A y\right)^{H}\left(y-A^{+} A y\right) \\ \geq & \left(A^{+} b\right)^{H}\left(A^{+} b\right)\end{aligned} $$ 当且仅当 $ y-A^{+} A y=0 $ 时等号成立，这时相容方程组 $ A x=b $ 的最小模解为 $ x=A^{+} b $, 并且最小模解是唯一的。
无解的方程组又可称为"矛盾方程组"，矛盾方程组的最小二乘解一般是不唯一的，所有最小二乘解中的极小二范数解是唯一的，我们一般求矛盾方程组的唯一极小二范数最小二乘解。
定义： 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $ ，线性方程组 $ A x=b $ 可能无解。这时我们称使得长度 $ |A x-b| $ 最小的那个 $ x $ 为线性方程组 $ A x=b $ 的最小二乘解。
需要注意的是，最小二乘解不一定是方程的解。
定义： 设 $ V $ 是 $ \mathbb{C} $ 上的酉空间， $ x, y \in V $ ，称 $ |x-y| $ 为向量 $ x $ 到向量 $ y $ 的距离，记为 $ d(x, y) $
定义： 设 $ V $ 是 $ \mathbb{C} $ 上的酉空间， $ x \in V ， W $ 是 $ V $ 的子空间，称 $ \inf _{y \in W}|x-y| $ 为向量 $ x $ 到子 空间 $ W $ 的距离,记为 $ d(x, W) $
引理: 设 $ V $ 是 $ C $ 上的有限维酉空间， $ x \in V ， W $ 是 $ V $ 的子空间，若 $ y_{0} \in W $ 满足 $ x-y_{0} \in W^{\perp} $ ，则 $ \left|x-y_{0}\right|=d(x, W) $
证明：对 $ \forall y \in W $ ，有 $ x-y=x-y_{0}+y_{0}-y $ ， $ \left(x-y_{0}\right) \perp\left(y_{0}-y\right) $ ，由勾股定理， $ |x-y|^{2}=\left|x-y_{0}\right|^{2}+\left|y_{0}-y\right|^{2} \geq\left|x-y_{0}\right|^{2} $ 故得证，引理可理解为连接一定点到子空间上的点的连线段中，垂线段最短 设 $ A \in \mathbb{C}^{m \times n}, b \in \mathbb{C}^{m} $ ，现在考虑线性方程组 $ A x=b $ 的最小二乘解。此时 $ \mathbb{C}^{m} $ 是酉空间。设 $ A=\left(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{n}\right) $ 。则 $ W=L\left(\alpha_{1}, \alpha_{2}, \ldots, \alpha_{n}\right) $ 是 $ \mathbb{C}^{m} $ 的子空间。问题转化为求使得 $ \left|b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right)\right| $二范数最小的那个 $ x=\left(x_{1}, x_{2}, \ldots, x_{n}\right)^{T} $ 此时 $ x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n} \in W $ ，由引理，若能使 $ b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right) \in W^{\perp} $, 则这样的 $ x $ 就是 $ A x=b $ 的最小二乘解 此时由 $ b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right) \in W^{\perp} $ 立马可以得到 $$ \begin{array}{l}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0 \\ \left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{2}\right)=0 \\ \ldots \ldots \\ \left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{n}\right)=0\end{array} $$ 即 $$ \begin{array}{l}\alpha_{1}^{H}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0 \\ \alpha_{2}^{H}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0 \\ \cdots \cdots \\ \alpha_{n}^{H}\left(b-\left(x_{1} \alpha_{1}+x_{2} \alpha_{2}+\ldots x_{n} \alpha_{n}\right), \alpha_{1}\right)=0\end{array} $$ 即 $ A^{H} b-A^{H} A x=0 $ ，即 $ A^{H} A x=A^{H} b $ ， 我们已经证明了 $ A^{H} A x=A^{H} b $ 一定有解，其通解为 $ x=A^{+} b+y-A^{+} A y $ ，其中 $ y \in \mathbb{C}^{n} $ 是任意的。 反过来，若 $ x_{0} $ 满足 $ A^{H} A x_{0}=A^{H} b $, 则对任意的 $ x \in \mathbb{C}^{n} $ 由 $A x-b=A x_{0}-b+A\left(x-x_{0}\right)$ 以及内积 $$ \begin{array}{l} \left(A x_{0}-b, A\left(x-x_{0}\right)\right)&=\left(A\left(x-x_{0}\right)\right)^{H}\left(A x_{0}-b\right)\\&=\left(x-x_{0}\right)^{H}\left(A^{H} A x_{0}-A^{H} b\right) \\ &=0 \end{array} $$ 得： $$ |A x-b|^{2}=\left|A x_{0}-b\right|^{2}+\left|A\left(x-x_{0}\right)\right|^{2} \geq\left|A x_{0}-b\right|^{2} $$ 其中等号成立当且仅当 $ A\left(x-x_{0}\right)=0 $ ，从而 $ x_{0} $ 是线性方程组 $ A x=b $ 的最小二乘解。 若 $ x_{1} $ 也是线性方程组 $ A x=b $ 的最小二乘解，则由前面的分析可得 $ A\left(x_{1}-x_{0}\right)=0 $, 从而可推得 $ A^{H} A x_{1}=A^{H} b $ 也成立。
由上述分析可得
此时线性方程组 $ A x=b $ 的最小二乘解的表达式为 $ x=A^{+} b+y-A^{+} A y $ ，其中 $ y \in \mathbb{C}^{n} $ 是 任意的。
如同之前的分析，我们可以得到方程组 $ A x=b $ 的最佳最小二乘解为 $ x=A^{+} b $ ，并且最佳最小二乘解是唯一的。
https://blog.csdn.net/db1403600882/article/details/111031878
https://blog.csdn.net/weixin_46221946/article/details/127628600
https://www.zywvvd.com/notes/coding/python/scipy-leastsquare/scipy-leastsquare/
文章链接：
https://www.zywvvd.com/notes/study/linear-algebra/inverse-matrix/gen-inverse-matrix/
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。