奇异值分解

  任意的实矩阵 都可以分解为：
  
  其中， 是满足 的 阶酉矩阵（unitary matrix）； 是满足 的 阶酉矩阵； 的矩阵，其中 且其他位置的元素均为 ， 为非负实数且满足 。
  其中 的列向量 称为 的坐奇异向量， 的列向量 称为 的右奇异向量， 称为奇异值。

  如果想要描述好一个变换，那就描述这个变换主要的方向就行。特征值分解得到的 矩阵是一个对角举证，里面的特征值是由大到小的排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要到次要），当矩阵是高维的情况下，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前 个特征向量，那么就对应了这个矩阵的最主要的 个变化方向，但是特征值分解的局限，就是变化矩阵必须是方阵，对于非方阵而言，我们就只能进行奇异值分解。
  而在实际中，大部分矩阵都不是方阵，奇异值分解就是用来解决这个问题的，奇异值分解是一个能适用于任意的矩阵的一种分解方法：
  
首先，将矩阵 就得到一个方阵，利用这个方阵得到：
  
这里的 就是右奇异值向量，
  
  
奇异值 跟特征值类似，在矩阵 中也是从大到小排列，而且 的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上，也就是说可以用前 大的奇异值来近似描述矩阵。