在短短几年内,深度学习算法取得了显著进展,不仅在棋类游戏中战胜了世界顶尖选手,还能以与人类相当甚至更高的准确率识别面部。然而,人类语言仍然是一个独特且复杂的问题,也是人工智能面临的最大挑战之一。
不过,这一难题能否能被攻克呢? 一旦计算机能够有效地理解人类语言,这将彻底改变全球各大品牌、企业和机构之间的互动方式。目前,大多数企业无法为每一位客户提供一对一的服务。然而,当语言AI技术真正成熟时,企业将能够在任何时间通过任何渠道倾听、理解和回应每一个问题。这是一个令人振奋的前景,但实现这一目标仍然需要走过漫长的路途。
直到2015年,人们才开发出一种在准确率上与人类水平相当的人脸识别算法。Facebook的DeepFace算法准确率达到97.4%,几乎与人类的97.5%持平。相比之下,联邦调查局(FBI)过去的人脸识别算法准确率仅为85%,这意味着其判断错误的概率高达15%以上。
FBI的算法是由工程师们手工设计的,每个特征都需要手动编程。而Facebook的算法则是通过一种称为卷积神经网络的深度学习架构自动学习特征,这种架构模仿了人类大脑视觉皮层处理图像的方式。实际上,我们并不清楚这些皮层之间的具体联系,因此所有“奥秘”都是由算法自行探索得出的。
Facebook之所以能够取得这一成就,得益于实现类人级人工智能的两大核心思路:首先,建立一个能够自主学习特征的架构;其次,利用数百万张经过标注的高质量图像作为训练数据。
语言理解的挑战
尽管视觉感知的难题已经被攻克,但语言理解依然是一个更为复杂的领域。据我们所知,人类是唯一能够使用复杂语言来交流思想的物种。
不到十年前,出现了一些能够通过词语频率大致推断语义的AI算法。但这种方法忽略了同义词的存在,也不能很好地应对不同上下文中的语义变化。
2013年,Tomas Mikolov及其谷歌团队开发出了一种能够学习词语含义的架构。他们的Word2Vec算法可以将同义词相互映射,从而建模出诸如大小、性别、速度等语义特征,甚至能够将国家与其首都等概念关联起来。
然而,这种算法依然缺乏理解上下文的关键能力。直到2018年,谷歌团队推出的BERT模型才真正解决了这个问题。BERT模型借鉴了传统的机器翻译架构,但增加了学习句子内部上下文的能力。通过训练模型填补维基百科文章中的空白单词,BERT模型成功地将语言结构嵌入其中。只需要少量高质量的标记数据,BERT模型就能完成从回答问题到真正理解句子意义的各种任务。这一突破使他们成为了破解语言理解难题的先驱:正确的架构加上大量高质量的数据。
2019年,Facebook的研究人员在此基础上更进一步。他们使用100种不同的语言训练出类似的BERT模型。这种模型可以在一种语言(如英语)中学习特征,然后将其应用于其他任何语言(如阿拉伯语、中文和印地语)。这种语言中立的模型在选定的语言上表现出与BERT一致的效果,并且在转移到另一种语言时也能保持较低的影响。
这些技术本身已经令人印象深刻。但在2020年底,谷歌研究人员最终在广泛的语言理解任务中超过了人类的表现。谷歌引入了更大规模的网络架构和更多的训练数据,将BERT架构推向了极致。现在,这种名为T5的架构在标记句子和寻找答案方面已经超越了人类。去年10月发布的多语言mT5模型在双语翻译方面表现接近人类,更令人惊叹的是,它可以支持多达100种语言。谷歌最近又发布了新的万亿级参数模型,整体架构规模进一步扩大,性能也有所提升。
未来展望
想象一下,未来的聊天机器人可以理解您用任何一种语言写下的内容,真正理解上下文并记住之前的对话。这意味着我们不再只是收到一些简单的预设回复,而是能得到真正的关怀和解答。
搜索引擎也将能够理解您的问题,给出准确的答案,不再受限于您使用的措辞是否精确。您还可以拥有一个了解业务流程的AI同事。更重要的是,如果能够使用正确的术语,谷歌搜索或许就能解决客户的具体问题。大量的外部文档将成为历史,取而代之的是AI模型快速阅读和理解的能力。
数据库将迎来新时代。我们将告别繁琐的手动数据处理——所有的备忘录、电子邮件和报告都可以由AI模型自动解析、存储和索引。由于数据库能够理解人类表达,您无需求助于IT部门即可直接查询和创建报告。
这仅仅是冰山一角。目前所有依赖人类语言理解能力的工作流程,都有可能被自动化技术彻底颠覆。
现实挑战
但这里还有一个问题。既然这些算法如此出色,为什么它们还没有广泛应用?因为仅是训练T5算法就需要花费谷歌大约130万美元的云计算资源。幸运的是,谷歌的研究人员慷慨地分享了这些模型。但如果要针对特定任务进行优化,还需要承担额外的资源成本和漫长的训练周期。
然而,随着时间的推移,企业对优化工作的不断探索,相信未来会有更多的应用场景出现。另外,如果大家相信摩尔定律,那么五年左右之后,我们可能会迎来更加复杂的语言AI应用,那时可能会有新的模型全面超越T5算法。
2021年,我们距离AI技术的突破性进展还有很长的路要走。但只要克服了这一难关,AI技术必将释放出无限的可能性。