机器学习与系统研究概览

2020年MLSys会议前瞻

2020年的MLSys会议将于3月2日至4日在美国德克萨斯州举行。本次会议将从不同角度精选三篇文章，以期对机器学习与系统领域有全面的理解。

机器学习系统的研究背景

机器学习本质上是一系列数值计算。当数据量庞大或模型复杂时，需要设计一个高效的平台来执行计算。机器学习系统正是为此而生，旨在开发一种特殊系统，支持和部署机器学习模型。MLSys会议聚焦于解决机器学习和计算机系统交叉领域的挑战，包括软件系统、硬件系统的设计，以及满足精度之外的需求，如隐私、安全和公平性。

会议重点议题

首届MLSys会议于2018年在斯坦福大学举办，吸引了学术界和产业界的广泛关注。会议主要讨论了以下几个方面： 1. 设计支持机器学习的软件系统； 2. 设计硬件系统； 3. 设计系统以满足精度以外的需求，例如隐私、安全和公平性。

三篇精选文章

1. MLPerf Training Benchmark - 介绍：MLPerf Training Benchmark旨在为机器学习系统建立一套工业级别的衡量标准。在此之前，业界尚无统一的衡量标准。 - 设计难点：衡量机器学习系统的挑战包括系统优化对模型质量的影响、并行化训练的双重影响、模型中的随机性导致的系统表现差异以及不同软件环境的影响。 - 衡量标准：MLPerf定义了不同的衡量标准，并提供了详细的使用指南。它还提供了标准化的数据集、模型和阈值，以便准确评估系统性能。 - 测试结果：MLPerf测试根据专区和系统类型进行分类，涵盖了封闭式和开放式测试专区，以及可获取类、预览类和研究类系统。MLPerf的标准推动了行业的竞争和创新。

2. WILLUMP: A Statistically-Aware End-To-End Optimizer For Machine Learning Inference - 介绍：WILLUMP专注于机器学习推理的系统优化，尤其是在特征计算方面，以提高系统的响应速度和吞吐量。 - 优化流程及原理：WILLUMP采用了级联优化和Top-K优化两种方法。级联优化通过简化模型来加速计算，Top-K优化则侧重于优化Top-K排名问题。 - 实验结果：实验结果显示，WILLUMP在准确度损失极小的情况下，显著提高了系统的吞吐量和延迟性能。

3. Privacy-Preserving Bandits - 介绍：本文提出了一个名为P2B（Privacy-Preserving Bandits）的系统，用于在保护用户隐私的同时最大化收益。 - 系统架构和原理分析：P2B系统由本地代理、洗牌机和中心服务器组成，通过加密和匿名化处理来保护用户数据的隐私。 - 实验结果：实验表明，在不同的用户行为数量环境下，P2B系统在隐私保护和收益最大化之间取得了良好的平衡。

分析师介绍

伏贵荣，数据科学硕士，现就读于苏黎世联邦理工学院，毕业于北京大学元培学院。主要研究方向为社交网络分析，对统计学习和机器学习领域有着浓厚的兴趣。

关于机器之心全球分析师网络

机器之心全球分析师网络是由机器之心发起的全球性AI专业知识共享网络。在过去四年中，数百名来自全球各地的专业人士通过线上分享、专栏解读、知识库构建、报告发布、评测及项目咨询等方式与全球AI社区共享专业知识，促进了个人能力的成长、经验积累及职业发展。