序言

撰写完关于机器学习中高等数学和微积分的文章后，我深感对读者有所亏欠，因为我自己也不满意最终的效果。正如前文所述，这种基础知识是最难讲解的。我也一直在思考如何改变教学方法，以便更好地传达复杂概念。

然而，由于头条平台不支持数学公式且篇幅有限，我决定分享一下自己的学习经历，推荐一些我认为优秀的教材和视频资源。这样，读者们就能少走弯路，更全面地掌握所需的知识。

建议：学习时要注重精而不求多。我相信，只要认真研读我推荐的书籍和视频，线性代数这部分内容应该可以顺利掌握。

机器学习中的线性代数

线性代数在机器学习领域至关重要，无论是描述算法的操作还是实现算法的代码，都离不开线性代数的支持。线性代数几乎贯穿于机器学习的所有方面，具体涉及的知识点包括： - 向量及其各种运算（加法、减法、数乘、转置、内积） - 向量和矩阵的范数（L1范数、L2范数） - 矩阵的各种运算（加法、减法、乘法、数乘） - 逆矩阵的定义与性质 - 行列式的定义与计算方法 - 二次型的定义 - 矩阵的正定性 - 矩阵的特征值与特征向量 - 矩阵的奇异值分解 - 线性方程组的数值解法（特别是共轭梯度法）

教材推荐

在学习线性代数时，不建议使用同济大学版本的教材，因为这本书更适合应试使用，实用性较差。我推荐《Linear Algebra Review and Reference》这份资料，它是斯坦福大学Andrew Ng教授的机器学习课程中关于线性代数部分的复习讲义。对于英语水平有限的同学，已经有人将其翻译成了中文。以下是该讲义的目录概览： - 基础概念和符号 - 矩阵乘法 - 向量-向量乘法 - 矩阵-向量乘法 - 矩阵-矩阵乘法 - 运算和属性 - 单位矩阵和对角矩阵 - 转置 - 对称矩阵 - 矩阵的迹 - 范数 - 线性相关性和秩 - 方阵的逆 - 正交矩阵 - 矩阵的值域和零空间 - 行列式 - 二次型和半正定矩阵 - 特征值和特征向量 - 对称矩阵的特征值和特征向量 - 矩阵微积分 - 梯度 - 黑塞矩阵 - 二次函数和线性函数的梯度和黑塞矩阵 - 最小二乘法 - 行列式的梯度 - 特征值优化

视频推荐

有些同学可能更喜欢通过视频学习。这里强烈推荐3Blue1Brown制作的一系列视频《线性代数的本质》。这些视频动画精美，讲解生动，非常适合建立数学抽象思维，值得反复观看。 - 向量的基本概念 - 线性组合、张成的空间与基 - 矩阵与线性变换 - 矩阵乘法与线性变换复合 - 三维空间中的线性变换 - 行列式 - 逆矩阵、列空间与零空间 - 非方阵 - 点积与对偶性 - 叉积的标准介绍 - 以线性变换的眼光看待叉积 - 基变换 - 特征向量与特征值 - 抽象向量空间 - 克莱姆法则的几何解释

看过这些视频后，相信你会感叹：“原来我以前学的线性代数竟是如此晦涩难懂！”

例如，叉积这一概念在机器学习中应用广泛，3Blue1Brown将其几何化理解为：将一个向量投影到另一个向量所在直线上的长度，再乘以另一个向量的长度，就是它们点积的结果。