目前的人工智能技术在识别图像中的物体方面表现出色,但仍可能犯一些“低级错误”。有时候,只需在图像中添加微小且肉眼难以察觉的噪声,就能误导AI图像识别系统,有时甚至会造成严重的后果。
例如,研究人员曾通过在交通标志上贴上特定的涂鸦,导致自动驾驶系统将限速标志误认为禁行标志。同样,腾讯科恩实验室也曾报道过,路面的一些小贴纸足以使特斯拉自动驾驶系统误判并驶入相反车道。这些欺骗性的标志被称为“对抗补丁”,研究人员正在努力开发抵御这些干扰的方法。
然而,在一篇论文中,Google Brain和普林斯顿大学的研究团队指出,这些研究过于具体,忽略了更广泛的问题。他们认为,黑客可以采用更直接的方式,即使用一张完全不同的图片来误导系统。这一观点促使加州大学伯克利分校的博士生丹·亨德里克斯(Dan Hendrycks)创建了一个新的图像数据集,包含了一些容易被误判的图像,如松鼠(常被误认为海狮)或蜻蜓(常被误认为井盖)。
他表示:“这些图像更难以防范。”尽管人工合成的对抗补丁需要全面了解所有AI系统的防御机制,但自然图像即使在不同系统间也具有普遍的误导效果。
亨德里克斯在最近的国际机器学习会议上发布了该数据集的初步版本,包含约6000张图像。他计划在未来几周内发布最终版本,其中将包含近8000张图像。他希望研究团体能够利用这些数据集作为基准。
简单来说,与其直接在图像上训练识别系统,不如将这些图像保留下来仅用于测试。亨德里克斯解释道:“如果人们仅用这些数据集来训练系统,系统只会记住这些例子,而不会提升对新图像的识别能力。”
理解这些误判背后的逻辑有助于提高系统的适应性。“为什么系统会将蜻蜓误认为鳄梨酱?”亨德里克斯开玩笑地问道,“这其中的原因其实并不清楚。”
为什么人工智能会误判?一些人工智能系统的内部运作机制是已知的,但还有一些则是未知的,这被称为“黑箱”。对于图像识别技术,问题有时在于训练数据集本身存在缺陷。近期,Facebook人工智能实验室的一项研究表明,知名科技公司销售的物体识别算法在识别低收入国家的物品时表现较差。
研究人员测试了五种流行的现成物体识别算法,包括微软Azure、Clarifai、谷歌Cloud Vision、亚马逊Rekognition和IBM Watson。测试图像包括来自全球不同收入水平家庭的日常用品,涵盖从每月收入27美元的家庭到每月收入1090美元的家庭。
结果显示,与月收入超过3500美元的家庭相比,算法对月收入50美元的家庭物品的识别错误率高出约10%。同时,算法对美国照片的识别准确率比对索马里或布基纳法索照片的识别准确率高出15%至20%。
这些发现揭示了算法的“偏见”。其原因可能是训练数据存在偏差,因为这些数据主要反映了工程师的生活和背景。这些工程师大多来自高收入国家,因此训练出的算法也倾向于识别那些环境下的物体。
研究还指出,视觉算法的训练数据主要来自欧洲和北美,而人口众多的地区,如非洲、印度、中国和东南亚,样本严重不足。
由于美国科技公司在人工智能领域占据领先地位,这可能影响从照片存储服务到自动驾驶汽车等各个领域的系统。评价人工智能系统并不总是容易的,因为缺乏标准的评估基准。
“对抗这种偏见的关键步骤是在培训AI系统前的数据收集阶段更加谨慎。”参与研究的Facebook人工智能研究员劳伦斯·范德马顿表示。
值得注意的是,科技公司经常声称自己的人工智能产品是“公平且普及的”,但实际上,它们可能只是按照自己的视角来评价、定义和塑造世界。