本文重点

在本节课程中，我们将探讨线性代数中的奇异值分解（SVD），这是机器学习中常用的一种数学工具。本文将详细介绍这一概念。

知识准备

复共轭转置

复共轭转置是指先取共轭，再取转置。

示例

例如：

埃尔米特矩阵

埃尔米特矩阵是指矩阵中每个第i行第j列的元素都与第j行第i列的元素的共轭相等。埃尔米特矩阵主对角线上的元素都是实数，其特征值也是实数。

酉矩阵

当矩阵满足特定条件时，可以认为它是酉矩阵。具体来说，酉矩阵必须满足以下条件：

矩阵的奇异值分解

奇异值分解是一种将任意矩阵分解为三个矩阵的乘积的方法。具体来说，矩阵A可以分解为U、Σ、V的形式，其中Σ矩阵对角线上的元素即为奇异值。

如何求解这三个矩阵？

奇异值分解可以通过计算AHA和AAH的特征值和特征向量来实现。AHA的特征值是Σ²，特征向量是V；AAH的特征值也是Σ²，特征向量是U。

另一种求解方法

我们也可以通过AHA求出Σ²和V，然后通过A=UΣVᵀ求出U。

矩阵A的奇异值及其性质

定理1

AHA和AX的2范数为0时，这两个方程的解空间相同。因此，A和AHA的秩相等。

奇异值的定义

矩阵的奇异值等于该矩阵AHA的特征值开平方根。因此，要计算一个矩阵的奇异值，需要先求出AHA的特征值。

求矩阵A的奇异值分解

求AHA的特征值和特征向量

通过计算AHA的特征值和特征向量，我们可以求出矩阵A的奇异值。

示例

假设我们求出了AHA的特征值为1和3，那么A的奇异值为1和√3。此时Σ矩阵为：

求V矩阵

根据特征向量，我们可以构造V矩阵。由于A的秩为2，V矩阵变为3×2。

求U矩阵

接着，我们需要求出U矩阵。因为U是正交矩阵，需要添加一列使其保持正交。最终U矩阵为：

矩阵A的分解

除了上述分解方式，还可以采用部分奇异值分解。此时，矩阵A可以表示为：

压缩矩阵A

压缩矩阵A的方法是取一个秩为k (k≤r)的矩阵Ak来逼近矩阵A。通常情况下，k越大图像越清晰。经典的方法是选取接近k，使得Ak的存储量比A的存储量减少20%。

矩阵U和V的空间性质

这部分内容虽然重要，但不是本课程的重点。

特征值分解和奇异值分解的区别

特征值分解仅适用于正方形矩阵，而奇异值分解可以应用于长方形矩阵。此外，奇异值分解包括旋转、缩放和投影三种操作，而特征值分解仅包含缩放操作。