为什么需要平滑技术

在某些情况下，例如在训练集中某个词汇从未出现过时，直接计算的概率会变成零。这会导致整个概率乘积也为零，从而影响模型的预测效果。为了避免这种情况，我们需要引入平滑技术来处理这种零概率问题。

拉普拉斯平滑（平滑技术）

拉普拉斯平滑是一种常用的平滑方法，适用于不同类型的模型。具体而言，在伯努利模型和多项式模型中，拉普拉斯平滑有不同的应用方式。

伯努利模型中的拉普拉斯平滑

在伯努利模型中，拉普拉斯平滑通常通过给每个事件加上一个常数来实现，以避免零概率的情况。

多项式模型中的拉普拉斯平滑示例

假设我们有一个训练集，其中包含一些垃圾邮件，我们希望对这些垃圾邮件进行分类。拉普拉斯平滑可以帮助我们更好地处理新出现的词汇。

训练集和测试集

• 训练集：三封垃圾邮件

  • 第一封：（a，b，c，a，a）
  • 第二封：（a，b，b）
  • 第三封：（b，c，c）

• 测试集：一封邮件

  • （d，a，c）

计算过程

1. 训练集中的词总数（不重复）：3（a, b, c）
2. 测试集中的词总数：1（d）

对于测试集中出现的新词： [ P(d|s) = frac{0 + 1}{11 + 3 + 1} = frac{1}{15} ]

对于训练集中已有的词： [ P(a|s) = frac{4 + 1}{11 + 3 + 1} = frac{5}{15} ] [ P(b|s) = frac{4 + 1}{11 + 3 + 1} = frac{5}{15} ] [ P(c|s) = frac{3 + 1}{11 + 3 + 1} = frac{4}{15} ]

验证： [ frac{5}{15} + frac{5}{15} + frac{4}{15} + frac{1}{15} = 1 ]

其中： - 11 表示训练集中所有词出现次数的总和（计算重复次数） - 3 表示训练集中不重复的词数（a, b, c） - 1 表示测试集中唯一的词数（d）

通过这种方式，我们可以更准确地预测新出现的词汇，并提高模型的整体性能。