在学习机器学习和深度学习时,我们经常遇到线性变换和非线性变换的概念。例如,在深度学习中广泛使用的激活函数就是一种非线性变换,这正是神经网络强大性能的原因之一。本课程我们将从数学的角度探讨线性变换的概念。
线性变换具有以下特点: 1. 变换前后,直线依然保持为直线。 2. 变换前后,原点位置不变。 3. 直线的比例保持不变。
如图所示,我们可以看到两种常见的线性变换——旋转和平移,它们完全符合上述三个规则。
假设V(F)和W(F)是两个线性空间,σ是从V(F)到W(F)的一个映射,且满足以下条件: - σ(X+Y)=σ(X)+σ(Y),对于所有的X,Y∈V(F) - σ(λX)=λσ(X),对于所有的λ∈F,X∈V(F)
则称映射σ为从V(F)到W(F)的线性映射。如果W(F)是V(F)的子空间,则称σ为V(F)上的线性变换。
相似变换是指线性空间Vn(F)中的元素经过数乘运算。特别地,相似变换包括两种特殊形式。
假设σ:V(F)→U(F)是一个线性映射,则: 1. σ(0)=0',其中0和0'分别是V(F)和U(F)的零元素。 2. σ(-X)=-σ(X),对于所有的X∈V(F)。 3. σ将V(F)中的线性相关向量组映射为U(F)中的线性相关向量组。 4. 设V1(F)是V(F)的子空间,记σ(V1(F))={σ(X) | X∈V1(F)},则σ(V1(F))是U(F)的子空间,且dimσ(V1(F))≤dimV1(F)。
象空间是指经过线性变换后得到的空间,而零空间则是指经过线性变换后变为零元素的空间。
在线性变换T中,有两个重要的概念: 1. 线性变换T的秩等于象空间的维度,即dimR(T)。 2. 线性变换T的零度等于零空间的维度,即dimN(T)。
这些概念在机器学习中非常重要。