机器学习数学基础——线性代数

一、基础知识

• 线性代数涵盖的知识包括微积分、指数、概率以及统计学。

二、线性代数——矩阵

• 矩阵是由一组负数或实数组成的长方形阵列，最初用于表示线性方程组的系数及常数，现在广泛应用于解决线性方程。矩阵也是高等代数中的重要工具，在统计分析、物理学和计算机科学等领域均有广泛应用。矩阵运算在数值分析中占有重要地位。

• 定义：一个m行n列的矩阵是由m*n个数（i = 1, 2, ……m; j=1,2,…….n）排列而成的数表A，被称为m行n列的矩阵。

• 矩阵A的每个元素称为A的元素，位于矩阵A的第i行第j列。m*n矩阵可以记作，其中m是行数，n是列数，且m,n >0。

三、线性代数——特殊矩阵

• 如果一个矩阵的行数与列数相等（m=n），则该矩阵被称为方阵。

• 行数与列数都等于n的矩阵称为n阶矩阵，也称为n阶方阵，记作。只有一行的矩阵称为行矩阵，又称行向量。只有一列的矩阵称为列矩阵，又称列向量。

• 对于方阵，从左上角到右下角的直线称为对角线，对角线上的元素称为对角线元素。如果矩阵的所有元素均为0，则称为零矩阵，通常用O表示。如果方阵的对角线元素为1，其余元素为0，则称为单位矩阵，常用I或E表示。方阵中所有非对角线元素均为0的矩阵称为对角矩阵。

四、线性代数——矩阵加法

• 矩阵加法需要两个矩阵具有相同的形状，即它们必须是同型矩阵。

五、线性代数——矩阵乘法

• 数与矩阵相乘：数值与矩阵的每个元素相乘。

• 矩阵与矩阵相乘：左矩阵的每一行与右矩阵的每一列的对应元素相乘。结果矩阵的行数等于左矩阵的行数，列数等于右矩阵的列数。因此，左侧矩阵的列数必须等于右侧矩阵的行数。

六、线性代数——矩阵的转置

• 矩阵的转置是将矩阵的行变为列，列变为行的操作。具体来说，将矩阵A的行换成相反顺序的列，得到的新矩阵称为A的转置矩阵，记作。

七、线性代数——矩阵的运算法则

• 注意：矩阵乘法不满足交换律，即AB不一定等于BA。

八、线性代数——矩阵求逆

• 只有方阵才能求逆。对于n阶方阵A，若存在另一个n阶方阵B，使得AB=BA=E，则称矩阵A是可逆的，并将B称为A的逆矩阵，记作。如果AB=BA=E，则B=A^-1。