近年来，机器学习领域经历了飞速的发展，尤其是在深度学习技术方面。然而，随着深度学习逐渐成为主流，人们也开始关注其他可能带来变革的机器学习方法。最近，Reddit 上的一个帖子引发了关于除神经网络外的机器学习方法及其潜在发展的讨论。以下是经过整理的讨论内容，涵盖了几个值得关注的领域。

高斯过程 Gaussian Processes

高斯过程并不是一项新技术，但近年来在技术实现和扩展性方面取得了显著进展。与神经网络相比，高斯过程具有以下特点： - 更直观，易于解释（有人戏称其为一组平滑器），提供了丰富的数学工具来描述其行为； - 非常高效，只需少量样本和计算资源即可学习； - 可以方便地融合先验知识，设定一组参数后，很可能无需训练就能得到较好的预测结果； - 自然符合贝叶斯法则。

高斯过程的研究中包含了许多有价值的数学发现，涉及线性代数、概率论、谐波分析等领域。GPytorch 是一个优秀的库，可以深入了解高斯过程。

高斯过程的主要缺点在于计算复杂度较高，训练和推理通常需要计算行列式和迹，或从大型矩阵中求解系统，存储空间需求随列长平方增加，计算复杂度为O(n^3)。近年来，进展主要来自更高效的算法或近似计算方法（如KISS-GP、SKI、LOVE等）。

基因算法&演化策略 Genetic Algorithms & Evolution Strategies

基因算法和演化策略是另一种值得关注的方法。这种算法通过模拟生物进化过程来配置网络结构，进而让模型学习。这种方法的一个动机是在复杂环境中为稀疏奖励分配提供了一种替代方案，即放弃梯度，转而采用计算效率更高的演化策略，从而在模型设计和参数搜索方面获得更大的灵活性和更好的结果。

David Ha 是谷歌大脑的研究员，他在这一领域进行了大量研究，并撰写了易懂的介绍博客，配有生动有趣的动画。此外，还可以参考前一天关于神经退化的文章。

因果推理 Causal Inference

因果推理是另一个重要的研究方向，由Judea Pearl等学者推动。Yoshua Bengio等学者也在探索将其与现代机器学习相结合的可能性。一位网友认为，因果推理可能比深度学习更具革命性的影响。因果推理的关键概念包括贝叶斯网络和因果图模型。Judea Pearl的著作《Book of Why》是一本很好的入门书籍，而《Causality》则更适合深入研究。

反向强化学习 Inverse Reinforcement Learning

反向强化学习与传统强化学习相反，它试图从行为观察中学习，即使无法访问奖励函数或模拟特定执行器的行为。反向强化学习已经在许多应用中取得成功，尤其是在训练与人类行为相似的AI方面。然而，如何从非最优演示中学习仍然是一个开放问题。

自动机器学习 AutoML

自动机器学习（AutoML）是一个重要的领域，它可以帮助用户自动选择最佳的数据处理流水线。AutoML已经变得越来越流行，谷歌等公司已经开始提供商业化的AutoML服务。当前最流行的AutoML算法包括Auto-sklearn和Mosaic。

除了上述方法外，还有许多其他值得关注的机器学习技术，如最优传输理论、符号回归、脉冲神经网络等。如果你知道其他有趣且近年来有重大进展的机器学习方法，欢迎分享你的见解。