矩阵的奇异值分解

线性代数中，我们所说的矩阵的特征分解，即为：

然而，要满足特征分解，矩阵必须为方阵，否则无法直接求解特征值。

对于一般矩阵，我们如果也要对其进行分解成3个矩阵乘积 ，其中 为 的矩阵， 为 的方阵， 为 的矩阵， 为 的矩阵。

矩阵如何分解呢？首先，它应该满足一个条件，它是方的！那么如何把矩阵变成方针呢？

一个矩阵乘以它的转置即为方阵。

那么接下来的分解就是对与构造方阵的分解。还是特征分解的老步骤。这里，先提一下， 是半正定矩阵： 。

由于 满足矩阵交换乘积，有 ，且 。

我们可以设 的特征值为 ，设 的特征值为 ，且不为0的特征值个数相等。因此，有

矩阵半正定，特征值非负，可以开根号。特征值从右上角开始写，直到写到最后一个非零特征值。其余元素均为0。

刚才提及的是矩阵的奇异值分解的方法，现在我们初步看一下这个方法在降维中的应用。

令 ， 为矩阵对角线元素。

奇异值分解后的矩阵可以表示为：

令特征值从大到小排列，意味着前面的较大的特征值保留了矩阵较为重要的特征，后面的较小的特征值保留了矩阵比较细节的特征。以图像的压缩为例子：

压缩钱图像矩阵为 ，意味着参数有 个，只取前 个特征值，参数有 。误差为： 。

也可以用作在神经网络的加速运算，之后提及。

下面是图片压缩的例子（转自知乎@DeepWeaver）