本文要点：

• 多项式拟合
• 贪心随机训练算法
• 径向基函数（RBF函数）
• 径向基函数网络模型（RBF网络）

从后续章节可知，机器学习算法通常需要输入向量生成输出向量。此外，还需要“长期记忆”和“短期记忆”两个额外向量来转换输入向量。长期记忆通常称为“权重”或“系数”，是通过训练来调整的；而短期记忆并非所有机器学习算法都需要。

将机器学习算法视为一个函数有助于理解。例如，一个简单的等式可以表示为机器学习算法。假设输入为一个单一标量值x，系数为5。一般情况下，系数会组合成向量形式，表示算法的“长期记忆”。训练过程中，通过调整系数直至达到预期输出。例如，给定一组训练数据，可以输入数据并评估输出结果。

训练数据示例： - 输入：[1]，期望输出：[7] - 输入：[2]，期望输出：[14] - 输入：[3]，期望输出：[21]

显然，系数5无法产生预期输出。通过计算预期输出与实际输出之间的误差，可以调整系数。机器学习算法的目标是在新数据上表现良好，而不是追求零误差。过拟合现象发生在算法完全记住训练数据，导致在新数据上表现不佳。

接下来，我们将探讨如何优化系数，降低误差。贪心随机训练算法是一种简单的方法，它通过随机选择长期记忆向量的值，并保存效果最好的一组值。算法只会保留性能提升的结果，但并不总是最佳策略。

多项式系数的优化是机器学习的基础。通过训练数据拟合多项式，可以展示复杂的机器学习算法的基本工作原理。例如，二次多项式可以表示为：

[ y = 2x^2 + 4x + 6 ]

训练数据示例： - 输入：[-50.0]，理想输出：[4806.0] - 输入：[-49.0]，理想输出：[4612.0] - 输入：[-48.0]，理想输出：[4422.0] - ... - 输入：[47.0]，理想输出：[4612.0] - 输入：[48.0]，理想输出：[4806.0] - 输入：[49.0]，理想输出：[5004.0]

通过训练，我们可以调整系数以产生这些理想输出。例如，通过运行贪心随机训练算法，可以得到接近预期系数的结果。

径向基函数网络（RBF网络）是一种可用于回归和分类的统计模型。它有一个长期记忆向量，但没有短期记忆向量。训练方法包括贪心随机训练算法和爬山算法。

径向基函数（RBF）是对称的，通常在中点处达到最大值。高斯函数是最常用的径向基函数之一，可以用于数据缩放。例如，高斯函数的公式如下：

[ f(x) = e^{-frac{(x-c)^2}{2sigma^2}} ]

其中，( c )是中心点，( sigma )是宽度。

RBF网络由多个径向基函数的加权求和构成。每个径向基函数都有一个对应的权重。例如，使用鸢尾花数据集构建RBF网络，可以表示为：

[ y = a1 phi1(x) + a2 phi2(x) + a3 phi3(x) + b ]

其中，( phii(x) )是径向基函数，( ai )是对应的权重，( b )是偏置项。

通过训练，可以调整RBF网络的权重，使其能够正确分类鸢尾花数据集。例如，经过大量迭代，可以将评价得分降至0.08左右，意味着大多数鸢尾花都能被正确分类。

本章总结

本章介绍了训练机器学习算法的基础知识。大多数机器学习算法具有“长期记忆”属性，通过训练不断调整。贪心随机训练算法是一种简单的方法，通过随机选择长期记忆向量的值，保留效果最好的一组值。我们还训练了多项式和RBF网络模型，展示了如何通过这些算法拟合数据。

本书旨在介绍人工智能的基础算法，适合没有良好数学基础但对人工智能感兴趣的读者。本书提供了多种编程语言的示例代码，方便读者动手实践和扩展学习。