机器学习中的优化方法

近日，我在一次报告中听到了林宙辰教授的讲解，主要围绕机器学习中的优化方法展开，这里我做一些笔记，推荐对机器学习感兴趣的朋友们聆听他的分享。林宙辰教授的主页链接在这里：https://zhouchenlin.github.io/zhouchenlin.github.io

机器学习离不开优化方法的支持，Pedro Domingos曾总结了机器学习与优化方法之间的关系：“机器学习 = 表示 + 优化 + 评估”。这三个方面分别对应建立模型、求解模型、验证模型的过程。

一、机器学习中的优化问题

在机器学习领域，优化问题主要包括以下几类：

1. 分类回归问题 许多分类回归问题都可以归结为特定形式的问题，例如支持向量机（SVM）、正则化逻辑回归、多层感知器、线性回归、岭回归、Lasso回归等。

2. AdaBoost 数据的分类边界往往复杂，可以通过组合多个简单的线性分类器实现。

3. 生成对抗网络 4. 自动机器学习 (AutoML) 自动选择超参数，这是一个双层优化问题。

二、算法的阶数

根据所需信息的不同，算法大致分为三类：零阶、一阶、二阶。

1. 零阶算法：适用于函数形式未知、导数无法计算的情况，例如强化学习。
2. 一阶算法：需要函数值和梯度值，更广泛地应用于机器学习。
3. 二阶算法：需要函数值、梯度值及Hessian信息，适用于特殊结构的问题。

三、机器学习中的优化算法

1. 基本模块 常见的优化算法通常包含几个基本模块，通过不同方式组合形成多种算法。

• 梯度下降：前向运算。
• 邻近算子：后向运算。
• 对偶：原问题难以求解时考虑对偶问题。
• 随机化：适用于变量维度较大或目标函数较复杂的情况。

2. 无约束优化算法 针对无约束问题，常用算法包括梯度下降、共轭梯度、拟牛顿法、L-BFGS、邻近梯度算法等。

3. 约束优化方法 对于带约束的问题，常用方法包括投影梯度法、罚方法、条件梯度法、ADMM、坐标下降等。

4. 大数据处理 在大数据场景下，随机梯度方法是常用手段之一。

四、加速算法

常用的加速策略包括确定性和随机性两种方法。

• 确定性方法：如Heavy Ball、Nesterov加速、加速邻近梯度。
• 随机方法：如SVRG、Katyusha、Catalyst、SPIDER，这些方法在降低方差的同时提高了计算效率。

五、未来展望

随着技术的发展，大规模优化的未来趋势将涉及随机化、分布式、异步学习和量子计算等领域。

希望以上内容对你有所帮助。感谢分享！