大家好，我是白朔天，今天我们要一起探讨概率论在机器学习中的应用。这节课主要涵盖概率计算的基本方法、极大似然估计以及信息论中不确定性度量等内容。

概率计算的两个基本原理

加法原理

概率是对事件发生可能性的一种描述，概率越大，事件发生的可能性也越大。例如，中国国家足球队与巴西国家足球队进行友谊赛时，根据经验，巴西队获胜的可能性较大。

然而，当事件变得复杂时，计算概率就不是那么简单了。这时就需要借助加法原理和乘法原理。加法原理指出，如果一个事件可以通过多个独立分支路径实现，那么这个事件发生的总概率就是所有独立分支概率的总和。

举例来说，如果你和朋友小明玩掷骰子游戏，小明掷出了4点。那么你获胜的概率是多少呢？你获胜有两种可能的情况：掷出6点或5点。根据加法原理，你获胜的总概率就是这两种情况的概率之和，即1/6+1/6=1/3。

乘法原理

接下来我们讨论乘法原理。当一个事件需要多个子事件同时发生才能实现时，最终事件发生的概率就是各子事件发生概率的乘积。

还是以掷骰子游戏为例，现在我们要计算小明掷出4点且你最终获胜的概率。这里包含两个子事件：小明掷出4点和你随后获胜。根据乘法原理，小明掷出4点的概率是1/6，你随后获胜的概率是1/3。因此，小明掷出4点且你获胜的总概率就是1/6×1/3=1/18。

加法原理和乘法原理是概率计算的基础，可以应用于大多数概率问题。

极大似然估计原理

核心原理

学会计算概率有什么实际意义呢？概率可以帮助我们做出更好的决策。比如，我们可以通过概率来估算未知变量。

假设两场足球赛在同一地点同时进行，分别是中国队对阵巴西队，英国队对阵法国队。我们知道天气会影响比赛结果。如果我们只考虑降水量的影响，可以得出以下结论：在降水量为x时，巴西队获胜的概率是1/(1+2x)，反之巴西队不胜的概率是2x/(1+2x)；英国队获胜的概率是2x/(1+3x)，英国队不胜的概率是(1+x)/(1+3x)。

如果比赛结束后，我们知道巴西队和英国队都赢了，那么我们可以利用乘法原理计算出巴西队和英国队都获胜的概率。为了找出比赛当天的降水量x，我们希望最大化这个概率。通过一些数学方法，我们可以找到当x=1/√6时，这个概率达到最大值0.2020。因此，如果没有其他信息，我们可以合理估计降水量x为1/√6。

应用

极大似然估计是一种根据结果反向估计过程中的某个变量的方法。具体来说，极大似然估计分为两步： 1. 假设未知变量x已知，计算某个事件或组合事件发生的概率，从而得到一个关于x的似然函数P(x)。 2. 计算似然函数的最大值maxP(x)，并用最大值对应的x*作为真实x的估计值。

在机器学习中，极大似然估计常用于逻辑回归，作为损失函数的一部分。逻辑回归中，我们首先假定模型参数已知，并建立样本的似然函数；然后通过求解似然函数的最大值，推导出模型的参数值。

以上就是今天的内容。下节课我们将学习统计学的相关知识，敬请期待！