自然语言处理的现状与发展

4月18日晚，北京大学举办了一场名为“人工智能前沿与产业趋势”的讲座，由今日头条人工智能实验室主任李航主讲，主题为“自然语言处理的现状和发展”。李航分享了自然语言的历史、人脑如何实现人工智能，以及计算机如何实现自然语言处理等内容。

本次讲座内容深入浅出，量子位作为独家合作媒体，提供了详细的课程笔记。

讲座导师：雷鸣

雷鸣是一位天使投资人，也是百度的创始成员之一，现任北京大学信息科学技术学院人工智能创新中心主任。他曾于2000年获得北京大学计算机硕士学位，并于2005年获得斯坦福商学院MBA学位。他还入选了“千人计划”。

主讲嘉宾：李航

李航现任今日头条人工智能实验室主任。他是北京大学和南京大学的客座教授，同时也是IEEE会士和ACM杰出科学家，以及中国计算机学会高级会员。他的研究方向包括信息检索、自然语言处理、统计机器学习和数据挖掘。

合理行动的智能机器

李航首先回顾了自然语言对话的发展历程。2011年，苹果的Siri问世，这是首个知名的对话系统。随后出现了微软的小冰、亚马逊的Alexa等产品。李航提到，他在华为期间也曾参与研究语音助手，包括语音识别和对话等技术。

这些对话系统越来越实用，但也存在局限性。李航重点探讨了能否建立一个像人一样自如对话的自然语言系统，以及这些系统面临的挑战和根本原因。

讨论概念：合理行动的智能机器

合理行动的智能机器是指那些能够在特定任务中表现出色的机器。这类机器通常具备以下几个特点： 1. 与环境互动。 2. 有明确的目标。 3. 有评价标准来衡量其表现。 4. 能够完成任务。

大多数现有的人工智能系统都是合理行动的智能机器。尽管它们在某些任务上表现出色，但这并不意味着它们已经超越了人类智能。例如，自然界中的某些动物和人工工具在某些任务上可能优于人类，但我们并不认为它们比人类更聪明。

图灵测试

图灵测试是评估机器是否具有人类智能的一种方法。在这个测试中，人和机器通过文字交流，如果人无法区分对方是机器还是人，则认为机器具有人类智能。然而，“像人一样”的标准很难定义，因此人们提出了基于任务的新图灵测试。

计算的三个层面

计算分为三个层面：功能层面、算法和表示层面、实现和物理层面。功能层面关注输入和输出，而算法和实现层面则关注具体的计算过程。这种划分有助于理解不同系统之间的差异。

人脑如何理解语言

自然语言理解有两种定义：基于表示和基于行为。

基于表示与基于行为

基于表示的定义是将语言映射到系统中的特定表示，从而理解语言。另一种定义是基于行为，即机器通过执行特定行为来理解语言。

人脑处理语言的过程通常包括词汇处理、句法处理、语义处理和语用处理。词汇处理涉及使用词典，句法处理涉及语法，语义处理涉及世界知识，语用处理涉及上下文信息。

人脑在处理语言时，会结合自下而上的处理和自上而下的预测。词汇、句法、语义和语用处理是相互关联的。

人脑的语言处理机制

人脑在处理语言时，多个脑区都会参与，尤其是布洛卡区和维尼科区。这些脑区负责不同的语言功能，如词汇和句法。大脑通过模拟和表象来理解语言，这种机制使得我们能够理解抽象概念。

语言处理的挑战

语言处理面临的主要挑战包括歧义、多义性和多样性。语言的符号映射到大脑的表示是多对多的关系，导致了语言的复杂性。

对话系统

对话系统至少面临三个挑战：歧义、多义性和多样性。基于深度学习的对话系统已经取得了一些进展，但仍然无法完全达到人类水平。单轮对话可以通过基于分析、基于检索或基于生成的方法实现。多人对话则需要更复杂的模型，如基于强化学习的模型。

未来展望

构建像人一样对话的计算机系统非常困难，但随着技术的进步，我们有望在特定场景和任务中实现这一目标。深度学习将继续推动自然语言处理的发展，但仍有许多挑战需要克服，如数据不足和模型的复杂性。

雷鸣与李航对话

深度学习的局限与前景

雷鸣询问了深度学习的局限及其未来的发展前景。李航指出，尽管深度学习在某些方面取得了显著成就，但它在能耗和数据需求方面仍存在局限。未来的研究方向包括开发更高效的模型和算法，以及更好地模拟人脑的计算机制。

知识图谱与神经方法的结合

李航还讨论了知识图谱与神经方法的结合问题。他认为，虽然当前的知识图谱还不够丰富，但通过神经方法处理这些图谱，可以进一步提升自然语言处理的效果。这是一个值得深入研究的重要课题。

实时翻译的挑战

关于实时翻译的挑战，李航表示，尽管技术上已经取得了进展，但由于数据不足，实时翻译仍面临许多困难。他强调，解决数据问题将是未来研究的一个重要方向。

智能音箱的市场与技术

李航还谈到了智能音箱市场的现状。他认为，智能音箱作为智能家居的控制中心，具有很大的市场潜力。技术的进步和用户体验的优化将进一步推动这一市场的发展。

本文来自量子位，创业家系授权发布，略有修改，内容仅代表作者独立观点。