导读

我们生活在一个充满奇迹的时代。记得小时候，我在看《星球大战》的时候，曾幻想多久以后我们的厨房里会出现能说话的机器人。事实证明，这个时间并不长。实际上不到10年的时间，人工智能已经将科幻变成现实。

每次阅读技术文章或科技新闻时，我都会被我们如今可以“随意”做的事情所震惊。透视墙壁？这很简单。通过视频预测物体的物理属性？这已经实现了。从键盘声音预测按键？生成逼真的面孔、身体或诗歌？或者教会机器画画？甚至让机器学会玩《星际争霸》游戏？

你见过这样的机器人在街上行走吗？

现在，如果你真的去和从事AI/ML领域的人交谈，可能会得到两种截然不同的反应。一种是对AI潜力的极度兴奋，认为下一个大突破即将到来；另一种则是对人工智能可能带来的威胁感到恐惧，担心人工智能将把人类变为无用的存在。在我看来，这就像当今社会的一个普遍现象——一半人认为人工智能是我们的未来，另一半则认为它是我们的末日。

关于人工智能和机器学习的本质，我想提出第三种观点——或许是一种更为务实的观点：为对手提供一个新的攻击面。

新发明的黑暗面

每当一项新技术出现时，大多数人倾向于认为这项技术带来了新的能力。然而，哪里有光明，哪里就有阴影。新功能无意中也会带来新的“漏洞”，供黑客利用。

让我们回顾一下PC市场的历史。第一台个人电脑（Altair 8800）于1975年发布，随后在接下来的十年里进行了一系列创新，最终在1984年推出了Apple Macintosh。随之而来的是个人电脑的爆炸性增长，一直持续到2000年：

然而，大多数用户并不知道，在恶意软件市场也发生了类似的爆炸。1989年，Robert Morris 尝试利用Unix sendmail构建了一个可以自我复制的蠕虫，结果变成了第一次DoS攻击，造成的损失估计在10万到1000万美元之间，并使整个互联网变慢了好几天。随后，1989年发生了第一次勒索软件攻击，1996年出现了第一个Linux病毒（“Staog”），1998年出现了第一个AOL木马。

同样的情况也发生在移动设备领域：2007年的iPhone时代，随之而来的是智能手机的爆炸性增长：

紧接着是手机恶意软件的增长：

那么，机器学习呢？

尽管机器学习的产品化仍处于初级阶段，许多前沿工作仍然局限于研究实验室和大学，但我们已经开始看到一些相似的趋势出现。以下是机器学习研究论文按年份和地区分类的情况：

但对抗机器学习（ML的恶意软件版本）的研究也在同步增长：

事情正在发生变化。是否应该开始恐慌？

安全问题

还没那么快。好消息是，随着个人电脑逐渐占据我们的日常生活，黑客也开始入侵，另一个与之并行的市场也开始发展——安全解决方案市场。

1987年，Andreas Luning和Kai Figge为Atari ST平台开发了第一个防病毒产品。同年，McAffee、NOD、Flu Shot和Anti4us都诞生了。在接下来的20年里，更多的安全产品问世：

很快，风投公司意识到大型网络安全市场的潜力，资金开始涌入：

• Kleiner Perkins投资Symantec 300万美元
• McAfee从Summit Partners获得融资
• BitDefender融资700万美元

大量的收购也随之而来：

• McAfee以700万美元收购Solomon
• Symantec同意以787.8亿美元收购Axent
• 微软从GeCAD软件中获取杀毒技术

随着手机恶意软件的快速增长，安全市场的扩张也出现了类似的爆炸性增长：

安全领域的融资：

• Bluebox从Andreessen Horowitz融资950万美元
• France Telecom对Lookout投资达2000万美元
• Zimperium在移动安全领域融资800万美元

安全领域的收购：

• 移动安全初创公司被Rapid7收购
• Apple以3.56亿美元收购三星安卓安全合作伙伴
• AVG以2.2亿美元收购移动安全公司Location Labs

那么，机器学习呢？

机器学习需要安全吗？

曾经，我为英国最大的金融科技公司之一工作，负责反欺诈和反洗钱工作。我的团队每年监管的交易额超过100亿美元，我们一直在努力防止骗子进入GC的系统。很自然地，我们屈服于这种炒作，决定尝试机器学习。

让我惊讶的是，它居然起作用了。实际上，它非常有效。从传统的启发式方法，我们成功减少了80%的欺诈损失，并提高了20倍的可疑账户洗钱检测率。

只有一个问题。

我们在一个“关键”的能力上部署了机器学习。我们给这个算法分配了一项任务，但这项任务不允许失败——如果失败了，我们可能会损失大量资金，甚至失去金融牌照。作为直接负责GC安全的产品经理，这两种情况都不是什么好事。

因此，我需要知道机器学习如何以及何时会失败。如何利用我们的模型？它内在的弱点在哪里？我如何知道GoCardless是否受到攻击？

在花费了无数个夜晚阅读机器学习的文献并在暗网上寻找答案后，我终于找到了我想要的答案。我了解了机器学习中的中毒攻击，攻击者可以通过在训练中注入损坏的数据来影响模型的决策。我还发现了对抗性示例，即模型在测试时如何容易被精心设计的干扰输入误导。最后，我了解到隐私攻击，即使底层数据和模型本身并不是真正的公开。

然后，我发现了这个……

我感到非常害怕。

到2019年底，三分之一的企业都将部署机器学习。这是你、我、我们的朋友和亲人每天使用的几乎所有产品的三分之一——在任何知道机器学习工作原理的攻击者面前全裸露。

是的，机器学习需要安全。

迈出第一步

机器学习安全是一个非常新兴的领域——至今基本上还不存在。如果我从下面的讨论中学到了什么，那就是任何没有数学博士学位的人都很难弄清楚如何确保他们的机器学习系统的安全（目前几乎没有现成的解决方案，只有大量的数学研究论文）。

考虑到我们生活中有多少事情依赖于算法——我认为这是我们，你和整个机器学习社区的责任——确保安全不会被忽视。今天有许多方法可以构建更健壮的机器学习模型——正如我在之前的帖子中提到的逃税、中毒和隐私攻击。但更重要的是，我们需要改变思维方式——从“不惜一切代价追求准确性”转向更加平衡的准确性与稳健性：

C1和C2是两个模型。显然，C1一开始并不是特别准确，但在对抗攻击时表现得更好。你会选择C1还是C2作为机器学习模型？

这篇文章和接下来的文章是我尝试迈出的第一步，迈向一个更健壮的机器学习未来。确保每个人的安全。