当下，深度学习领域异常火热，而作为其基础的机器学习则显得尤为关键。机器学习方法大致可分为分类和回归两大类，同时又分为有监督学习和无监督学习。有监督学习进一步细分为生成形式和判别形式。那么，如何区分这两种形式呢？

基本定义

判别模型：这类模型直接学习决策函数 Y = f(X)，或通过条件概率 P(Y|X) 进行预测。判别模型的核心在于直接确定不同类别之间的边界。

生成模型：这类模型通过学习数据的概率分布 P(X,Y)，进而推导出条件概率 P(Y|X)。生成模型关注的是数据是如何生成的，因此可以提供更为全面的信息。

生成模型可以从已知数据中推导出判别模型，但反之则不可行。

常见的判别模型

• K近邻(KNN)
• 支持向量机(SVM)
• 决策树
• 感知机
• 线性判别分析(LDA)
• 线性回归
• 传统神经网络
• 逻辑斯蒂回归
• 提升法(boosting)
• 条件随机场(CRF)

常见的生成模型

• 朴素贝叶斯
• 隐马尔可夫模型(HMM)
• 高斯混合模型(GMM)
• 文档主题生成模型(LDA)
• 限制玻尔兹曼机(RBM)

虽然这些概念看起来简单，但仅仅记住它们并不意味着真正理解。下面，我们将进一步探讨。

深化理解

假设你看到一个人打扮得比较中性，想判断其性别。如果你注意到这个人涂了口红，你可能会认为这是女性的概率更大。这便是生成模型的应用，因为它关注的是人会生成哪些行为。

相反，如果你看到一个人涂了口红，脑海中立刻想到的是女性而非男性，这就是判别模型的应用，因为它直接根据已有特征判断出最可能的类别。

接下来，让我们总结一下判别模型和生成模型的特点。

判别模型的工作原理

判别模型直接根据输入特征学习决策边界，如线性回归和线性SVM。其主要特点是：

• 对 P(Y|X) 进行建模
• 为所有样本构建单一模型
• 根据输入特征预测最可能的类别
• 对数据量的要求相对宽松，处理速度较快，在小数据集下也能保持较高的准确性

生成模型的工作原理

生成模型首先学习数据的联合分布 P(X,Y)，然后利用条件概率进行预测。其主要特点是：

• 对 P(X,Y) 进行建模
• 为每个类别构建单独的模型
• 不构建明确的决策边界
• 提供的数据更为全面，被称为“上帝信息”
• 能够用于多种任务，不仅仅是分类
• 需要大量数据才能确保准确，处理速度相对较慢

HMM与CRF

HMM（隐马尔可夫模型）

HMM是一种典型的生成模型，需要学习数据的多种概率分布。其五个基本要素包括：

• 初始状态概率 Π
• 状态转移概率 A
• 观测概率 B
• 隐藏状态序列
• 观测序列

在推理阶段，模型首先学习这些要素，然后根据观测序列进行预测。例如，在词性标注任务中，输入句子“学习出一个模型，然后再预测出一条指定”，模型需要预测每个词的词性。

CRF（条件随机场）

CRF是一种判别模型，其目标是确定边界。其公式：

[ P(y|x) = frac{1}{Z(x)} expleft(sum{i} lambdai f_i(x,y)right) ]

CRF主要用于序列标注任务，如词性标注，其直接通过特征函数确定分类边界。如果你能完全理解这一部分，说明你已经掌握了关键概念。