IT大数据学习分享：机器学习核心知识点（1）

04 支持向量机

1. 支持向量机 (SVM)

支持向量机是目前机器学习领域中广泛使用的算法之一，尤其在处理合理规模的数据集时，其分类效果通常优于其他算法。

2. 支持向量

在两类数据集中，位于分类线附近的点被称为支持向量。对于非线性可分的数据集，可以通过引入松弛变量来解决约束条件的问题。

3. 核的选择

任何满足Mercer定理的对称函数都可以作为核函数使用。这意味着核函数的组合也可以形成新的核函数。

4. SVM算法

对于给定的测试数据，通过支持向量计算内积来进行分类，从而得出分类结果。

05 优化和搜索

1. 下山法

在优化过程中，如何快速下降是关键。线性搜索适用于已知方向的情况；而信任域方法则通过局部模型寻找最小值，这种方法类似于最速下降法，即沿着梯度反方向走。

2. Lenenberg-Marquardt算法

3. 共轭梯度

共轭梯度法在多维空间中通过一系列特定方向的步骤找到最小值。这种方法在非线性情况下尤为有效。

4. 搜索的三种基本方法

• 穷举法：检查所有可能的解决方案，确保找到全局最优解。
• 贪心搜索：在整个系统中只寻找一条路径，每一步都选择局部最优解。这种方法计算量较小，但不一定能找到全局最优解。
• 爬山法：通过局部搜索逐步改进解决方案。例如，在解决旅行商问题时，通过交换城市顺序来减少总距离。

5. 模拟退火算法

模拟退火算法通过引入随机性来避免陷入局部最优解。算法从一个较高的初始温度开始，逐渐降温，以增加接受较差解的概率，从而跳出局部最优解。

06 退化学习

1. 遗传算法 (GA)

遗传算法模拟自然选择的过程，通过改变基因来优化个体适应度。算法通过选择、交叉和变异操作来生成新个体。

2. 产生后代的方法

• 联赛选择：随机选择四个个体，将最合适的两个放入交配池。
• 截断选择：只选择适应度最好的一部分个体。
• 适应度比例选择：根据适应度比例选择个体，适应度高的个体被选择的概率更高。

3. 基本遗传算法

4. 应用遗传算法进行图着色

将图着色问题编码为字符串，选择合适的适应度函数和遗传算子。

5. 结合采样的退化学习

PBIL算法是一种基于种群的进化学习算法，通过调整概率向量来生成新个体。

07 强化学习

强化学习的目标是通过最大化奖励来学习状态和动作之间的映射关系。算法需要在智能体和环境之间做出决策，以实现最大化奖励的目的。

1. 马尔可夫决策过程

马尔可夫决策过程利用马尔可夫性简化决策过程，只关注当前状态和动作。

2. 值

强化学习通过评估动作的价值来决定采取哪些动作以最大化未来的期望奖励。

3. Q-learning算法

4. Sarsa算法

这两种算法都是通过自举方法不断迭代来学习最优策略。Q-learning倾向于探索最短路径，而Sarsa则倾向于更安全的路径。

08 决策树

决策树通过一系列判断将数据分类到不同的类别。树的每个分支都代表一种决策路径，最终到达叶节点时得出分类结果。

1. ID3算法

ID3算法通过计算信息增益来选择最佳特征进行分类。

09 集成学习

集成学习通过组合多个简单的分类器来提高整体性能。这种方法可以生成更复杂的决策边界，提高分类准确性。

1. AdaBoost算法

AdaBoost算法通过动态调整训练样本的权重来逐步提升分类器的性能。

2. 随机森林

随机森林通过构建多个决策树来提高模型的鲁棒性和泛化能力。

10 无监督学习

无监督学习旨在发现数据中的隐藏模式和簇。

1. k-means算法

k-means算法通过迭代分配数据点到最近的聚类中心来形成聚类。

2. 在线k-means算法

在线k-means算法在数据流中实时更新聚类中心。

3. 自组织特征映射算法

自组织特征映射算法通过神经网络的方式自动学习数据的特征表示。