深度语义模型虽然在通用语义表示方面表现出色，但在具体应用场景下的区分能力仍有待提升。最近，一项由作业帮教育科技（北京）有限公司申请的发明专利“自然语言处理方法、装置及电子设备”获得了公开。这项专利申请于2020年12月，并于2021年3月公开，专利号为CN112528654A。该发明提出了一种新的领域内表示学习框架，能够结合领域内的数据，针对具体任务，融合多粒度表示方法，集成多种预训练模型，从而实现更具领域内语义区分能力的表示学习。

现有的自然语言处理技术在具体场景应用时面临许多挑战。例如，当前的技术大多基于单一粒度的方法进行处理，而实际中文中，单字、单词、短语等不同粒度的表达都有不同的含义。此外，大多数现有的自然语言处理模型都是基于广泛通用语料库训练的，旨在创建一个适用于所有场景的模型。然而，在处理特定领域的具体任务时，这种模型的语义区分度往往不足。因此，这些技术在特定领域应用时难以达到理想的实用效果。

根据专利摘要，该发明属于计算机信息处理技术领域，提供了一种自然语言处理方法、装置、电子设备及计算机可读介质。该方法包括：对文本数据进行分词处理，获取文字和词汇；将文本数据及其对应的领域属性输入到文字向量模型中，生成字向量；将文本数据及其对应的领域属性输入到词汇向量模型中，生成词向量；基于文本数据确定文字的第一权重和词汇的第二权重；通过字向量、第一权重、词向量和第二权重确定文本数据的句子语义向量；最后基于句子语义向量进行自然语言处理。这项发明可以显著提升句子的语义表达能力。

该专利发明人之一，作业帮中台产研中心的蒋宏飞博士表示，该发明是一种通用的底层表示学习技术，可广泛应用于各种场景下的自然语言处理下游任务，如文本分类、语义相似度计算、文本聚类和文本结构化分析等。在智能搜索、智能问答、异常检测、智能质检和用户意见挖掘等场景中，该技术的应用效果显著提升。这种方法属于无监督学习，不需要依赖标注资源，实施简便高效。

（来源：消费日报网）

（广告：市场有风险，选择需谨慎！本文仅供参考，不作为投资依据。）