第一节

机器学习定义

机器学习是指计算机程序在经历特定事件E的影响下，通过任务T和性能度量P的改进，从而实现学习的过程。

监督学习

回归问题

例如，预测房价。

分类问题

比如，判断肿瘤是良性还是恶性。

无监督学习

聚类问题

无监督学习通常通过计算样本之间的距离或相似性来进行聚类。例如，图像像素的分组、社会网络分析、市场数据分析以及声音分类等。

强化学习

在强化学习中，通常需要在一段时间内做出一系列决策。例如，控制直升机时，单个错误决策可能导致直升机坠毁，而连续的正确决策则会使直升机表现得更好。强化学习通常通过回报函数来实现，目的是让机器尽可能多地做出正确的决策。

聚类和分类的区别

聚类分析是在没有任何先验知识的情况下，通过某种算法将样本分为不同的类别。而分类则是在已知类别的情况下，通过设定的标准将符合标准的记录标记出来。

第二节

线性回归

线性回归的目标是通过训练集得出合适的参数θi，从而使得假设函数h(x)最接近实际值。

梯度下降

梯度下降是一种寻找最小值的方法。通过不断沿着梯度下降的方向前进，最终达到局部最小值。

性质

• 如果选择不同的起点，可能会到达不同的局部最小值。
• 当接近局部最小值时，梯度会逐渐减小。

批梯度下降法

批梯度下降法通过计算所有训练样本的平均误差来更新参数θi。这种方法虽然精确，但在处理大量数据时计算量较大。

随机梯度下降算法

随机梯度下降算法每次只使用一个训练样本来更新参数θi。这种方法速度快，但可能无法精确收敛到全局最小值。

正规方程组

正规方程组提供了一种直接求解最优参数θ的方法，避免了迭代过程。通过设计矩阵X和目标矩阵Y，可以直接求出θ的值。

第三节

欠拟合和过拟合

• 欠拟合：模型过于简单，无法很好地拟合训练数据。
• 过拟合：模型过于复杂，过度拟合训练数据，导致泛化能力差。

部分加权回归

部分加权回归是一种非参数学习算法，通过给最近的训练样本赋予更高的权重来拟合数据。这种方法灵活且适应性强。

Logistic函数

Logistic函数是一种常用的非线性函数，其输出值在0到1之间。在机器学习中，常用于二分类问题，通过最大似然估计来优化参数θ。

感知器算法

感知器算法是一种基本的神经网络模型，通过阈值函数来实现分类。这种算法简单且易于实现，适用于二分类问题。