1. 线性回归

线性回归是一种常用的回归分析方法，通过样本特征的线性组合来构建模型。目标是找到一组最优参数，使得模型预测的准确性最高。

1.1 核心概念

假设有一个样本集合，每个样本包含D维特征向量和一个实数标签。我们需要构建一个基于特征的线性组合模型，形式为：

[ f_{w,b}(x) = w cdot x + b ]

这个模型的目标是预测未知标签的样本。在输入相同的情况下，不同的参数组会带来不同的预测结果。因此，学习的目标就是找到一组最优参数 ( (w^, b^) )，使得预测最为准确。

线性回归模型与支持向量机（SVM）模型在某些方面相似，但主要区别在于SVM模型旨在找到一个决策边界，用于分离两类样本。而线性回归模型的目标则是使预测值尽可能接近所有训练样本的真实值。

1.2 解决方案

为了使模型的预测值尽量接近真实值，我们可以通过最小化以下表达式来找到最优参数 ( w^* ) 和 ( b^* )：

[ sum{i=1}^{N} (f{w,b}(xi) - yi)^2 ]

在这个公式中，( (f{w,b}(xi) - y_i)^2 ) 表示损失函数，用于衡量预测值与真实值之间的差距。这种损失函数被称为方差损失，目的是使平均损失最小化，即所谓的经验风险。

选择平方作为损失函数的原因在于其数学性质较为简单，易于求解。此外，平方损失函数使得误差的计算更加平滑，便于使用线性代数方法求解最优参数。

然而，我们也可以选择其他损失函数，例如绝对值损失或Huber损失，以适应不同的应用场景。

2. 对数几率回归

对数几率回归是一种分类算法，尽管名字中有“回归”二字，但它主要用于解决分类问题。对数几率回归的核心思想是通过线性组合特征来预测样本属于某一类别的概率。

2.1 核心概念

在对数几率回归中，我们仍然使用线性组合来建模，但目标是预测二元分类问题。通过使用标准对数几率函数（即sigmoid函数），我们可以将线性组合的结果转化为一个介于0和1之间的概率值。sigmoid函数的形式为：

[ sigma(z) = frac{1}{1 + e^{-z}} ]

其中 ( z = w cdot x + b )。通过sigmoid函数，我们可以将线性组合的结果映射到一个概率区间内。

对数几率回归的具体形式为：

[ P(y=1|x) = sigma(w cdot x + b) ]

通过调整阈值，我们可以确定样本属于哪一类。例如，如果预测概率大于0.5，则认为样本属于正类；否则属于负类。

2.2 解决方案

对数几率回归的目标是最大化训练集的似然函数。似然函数表示在给定模型参数的情况下，观测到某个样本的可能性。通过最大化似然函数，我们可以找到最优参数 ( w^* ) 和 ( b^* )，从而提高模型的预测性能。

总结而言，通过对数几率回归，我们可以有效地解决二元分类问题，并通过调整阈值来适应不同的应用场景。