自然语言智能（NLP）

自然语言智能专注于实现人机之间的有效沟通，它结合了语言学、心理学、计算机科学、数学和统计学等多个领域的知识。该领域涵盖自然语言和形式化语言的分析、抽取、理解、转换和生成等多个方面。

人工智能的阶段划分

人工智能的发展可以分为几个关键阶段：

• 计算智能：通过强大的计算能力和海量数据的存储能力，计算机在某些领域可以超过人类的表现。例如，谷歌的AlphaGo利用谷歌TPU的强大算力及蒙特卡洛树搜索和强化学习等算法，在围棋比赛中战胜了人类。
• 感知智能：通过识别无结构化数据中的重要元素来理解内容，例如从一个查询中分析出人名、地名、机构名等信息。
• 认知智能：在感知的基础上进一步理解内容的含义，并进行推理。例如，“谢霆锋是谁的儿子？”和“谁是谢霆锋的儿子？”虽然词语相同，但语义差异较大，这是认知智能需要解决的问题。
• 创造智能：在理解语义的基础上，计算机可以创造出符合常识、语义和逻辑的新内容，如自动生成小说、创作音乐，甚至流畅地与人交流。

自然语言处理涵盖了感知智能、认知智能和创造智能等领域，是实现全面人工智能的关键技术。

自然语言智能的发展趋势

• 深度语言模型的突破：这推动了自然语言技术的进步，使技术更加实用。
• 公有云NLP服务的定制化：从通用功能向个性化服务转变，更好地满足特定需求。
• 自然语言技术的应用深化：随着技术的成熟，自然语言处理将更广泛地应用于各行各业，创造更大的价值。

阿里集团NLP平台能力

阿里集团的NLP平台由多个层次组成，从底层的数据资源到上层的应用技术。平台提供的基础技术包括词法分析、句法分析、文本分析和深度模型。在此基础上，平台还提供了垂直领域的技术，如问答、对话、反垃圾和地址解析等。

开放搜索中NLP的应用与关键技术

开放搜索的目标是提供一站式、开箱即用的智能搜索服务。为此，平台集成了多种算法能力，以适应不同行业和场景的需求。基础设施包括阿里云的基础产品和服务，以及专门为搜索场景优化的系统，如HA3、RTP、Dii等。算法模块则分为查询分析和相关性排序两部分，分别处理分词、实体识别、纠错等功能。

NLP分析链路

搜索通常从关键词触发，例如用户搜索“aj1北卡兰新款球鞋”。

跨领域分词

在开放搜索中，平台提供了针对多个领域的分词模型。面对新词和未登录词带来的挑战，平台采用统计特征和远程监督技术，快速构建定制化的分词模型，从而提高效率和满足客户需求。

命名实体识别（NER）

在NER领域，平台采用了融合知识的GraphNer框架，以解决中文特有的边界歧义、语义歧义和嵌套歧义问题。

拼写纠错

开放搜索采用了统计翻译模型和神经网络翻译模型相结合的方式，通过挖掘、训练、评估和在线预测四个步骤，提供高效的拼写纠错功能。

语义匹配

深度语言模型极大地提升了语义匹配的效果。达摩院提出的StructBert模型通过增加字序/词序的目标函数和多样化句子结构预测目标函数，实现了多任务学习。为了适应开放搜索中成千上万的客户和领域，平台提出了语义匹配的三阶段范式，为每个客户提供定制化的模型。

NLP算法产品化

NLP算法产品化涉及离线计算、在线引擎和产品控制台。通过这一架构，用户可以直接在控制台上体验和使用平台提供的NLP功能。

结语

本文内容来自阿里云，未经授权不得转载。