晓多作为行业首个应用上下文语义识别技术的客服机器人,正引领行业迈向一个通过数据学习实现智能化自动生成的新纪元。
晓多成功应用了上下文语义识别技术,推动行业进入从数据中学习后实现智能化自动生成的时代。
或许你也曾有过这样的经历:向智能客服询问问题,却陷入机械式的对话中:
是的,我们家的面膜都是采用芦荟精华制成,非常天然。
我的皮肤比较干燥,推荐一款吧。
冬季皮肤干燥,建议您试试我们的保湿精华乳。
我想买面膜,你是机器人吗?能不能让人来回答?
这时,无论谁大概都会感慨:人工智能似乎还不够智能。这些所谓的“智能”客服大多只能做到一问一答,一旦对话涉及稍微复杂的情况,便会出现答非所问的现象。
让人工智能具备根据上下文处理信息的能力,是自然语言处理技术中的一个重要挑战,也是学术界和工业界多年来一直努力攻克的问题。尽管在通用自然语言处理领域,如gpt-2和BERT等模型的问世,使语义理解取得了显著进展,但由于专业性强、垂直领域语料库不足等原因,一些亟需落地的应用场景,比如高强度的客服对话,仍处于“人工智障”的困境中。
近期,这一难题取得了新的突破。晓多科技在接受采访时特别提到了这一点。晓多研发的基于上下文语义识别的项目,通过深度学习,使智能问答机器人能够像人类一样理解复杂的对话情境,并进行持续自我学习,无需人工设定规则,就能不断扩展和覆盖更多场景。
从单一问答到理解语境
为何人工智能会出现“不智能”的表现?这是因为当前市场上的智能问答机器人大多基于单句来识别用户意图,从而进行简单的问答交互。然而,在日常对话中,我们习惯于口语化表达,尤其是在打字时,通常会使用断句,这使得机器人难以准确理解用户的真正意图,从而导致答非所问。这对服务业而言是一个严重的缺陷。
与普通闲聊机器人不同,智能客服需要在各种场景中进行精准识别。因为智能客服的工作是及时、明确地解决用户的问题。
当你和闲聊机器人互动时,即使它答非所问也不会让你感到烦躁,反而觉得有趣;但当你只想尽快退货或获得赔偿时,智能客服的错误回答足以让用户愤怒,甚至可能给店铺打零星评价,并详细投诉服务不佳。
在商品售前阶段也是如此,智能客服的错误回答会影响用户体验,特别是在竞争激烈的电商平台,得不到满意答复的用户可能会迅速转向其他店铺,导致客户流失。
解决这一问题的关键在于让机器人像人类一样,能够联系上下文,结合语境进行对话,而不仅仅是对单句作出反应。
目前市场上其他机器人不支持上下文语义,它们依赖于预设的规则和流程。这意味着在特定情境中,需要设计相应的问题,让用户按顺序回答,机器人再根据所有信息作出回应。
例如,用户购买机票时,机器人首先要询问出发地、目的地和时间,然后询问座位等级等,通过这些问题的答案收集完整信息,最终给出推荐。
这种情况下,每个场景都需要人工设定规则,效率极低。尤其在电商领域,从售前到售后,涉及的问题方方面面,再加上不同品类的购物场景,靠人工设定规则实现全面覆盖几乎是不可能的。
如果能够将当前流行的深度学习技术应用于这一问题,让机器人通过自我学习掌握上下文语义理解,并持续扩展到各种场景中,就能大幅提升智能机器人在复杂场景中的精准应对能力,同时提高其覆盖多种场景的效率。带着这样的愿景,晓多开始了上下文语义项目的研发,由晓多算法工程师张翀负责。
让机器人自己“划重点”:记住重要信息,忽略无关信息
机器人不仅需要理解上下文,还需要学会“划重点”。这看似不可思议。张翀指出,目前学术界和业界尚未找到成熟的解决方案。最关键的问题在于让机器人像人一样记住上文的重要信息,并了解这些信息与当前对话的关联。
为此,张翀领导团队为新一代问答机器人设计了一个深度学习模型,包含四个模块:记忆与遗忘、提炼、融合、输出。
记忆与遗忘模块使机器人能够记住关键信息。没有记忆能力的机器人只会对最近的一句话作出反应,而晓多的模型可以帮助机器人将前后诉求关联起来,及时作出准确推荐。
在技术上,晓多实现了此前业界尚未实现的一项创新——采用长短期记忆网络(LSTM)结构,设计出具有会话级别记忆和遗忘功能的系统。
另一项创新是用于提炼模块的注意力机制。它会自动计算上文信息与当前句子的相关程度,相关度高的信息会被保留下来。
如果用户在得到满意的产品推荐后,又询问“什么时候发货”,注意力机制会发现上文信息的重要性较低,从而过滤掉无用信息,提取与当前对话相关的上文信息。
在融合模块中,机器人将提炼出的关键信息与当前消息结合,识别用户意图。晓多采用了向量空间的方法,简单来说,就是先在机器人大脑内部提取关键信息,再将其与当前消息综合,最终输出结合上下文信息和当前消息的判断。
实验数据显示,晓多从真实电商聊天记录中抽取了涉及上下文的问答样本,构建了两个测试集,分别对应两个电商领域。对比发现,结合上下文预测的模型效果远超仅基于单句预测的模型:
召回率(Recall):机器人正确识别的问题数量 / 总问题数量
准确率(Precision):机器人正确识别的问题数量 / 机器人已识别的问题数量
F1分数(F1 Score):2 * Precision * Recall / (Precision + Recall),综合考虑召回率和准确率的评分
这些成果并非一蹴而就。对机器人的训练需要大量数据,迁移学习能力是晓多实现这些创新的关键。
张翀表示:“深度学习的一个显著特点是高度依赖数据。由于深度学习模型参数众多,可以理解为它是一个更复杂的智能体,数据是它学习的基础。它需要学习的内容越多,需要的数据越多,而给它的数据越多,它就越聪明。”晓多从上百亿条数据中提取有价值的信息,提供给机器学习进行数据训练。
如果每一步都需要人工设计,从发现场景、总结规律,到最后开发、测试、上线,可能需要至少两周的时间才能扩展一个场景。而通过数据标注让机器进行深度学习,只需几天时间,就能同时扩展数十个场景、数百种产品。
各个行业的电商客服需要应对的场景虽然存在差异,但有一些数据是通用的,比如关于快递物流的问答。晓多对标注好的数据进行了模块拆分,区分出通用数据。当机器人需要学习新行业时,可以直接使用这些标注好的通用数据,实现快速扩展学习。
张翀认为,数据是基础,大数据为机器学习提供了动力;算法是核心,将人工智能推向全新高度;计算能力则是保障,为算法的实现提供坚实后盾。
不止于此,客户体验迎来智能化新时代
目前,晓多的上下文语义项目已经投入使用,覆盖了从售前的商品导购,到售中咨询运费、活动赠品等多种电商服务场景。这只是技术应用的第一步,晓多未来还将拓展更多业务。
在售前阶段,客户可能会要求客服推荐商品,其需求信息贯穿整个对话过程。传统的客服机器人只能根据客户的最后需求进行推荐,而晓多机器人则会对客户的对话信息进行分析,更准确地识别客户需求,推荐符合其心意的产品。
对于电商行业中的热门领域——服装,售前的尺码推荐是客服常遇到的问题。店铺内商品尺码多样,尺码问题会消耗大量人力。通过上下文识别手段,客服机器人可以获取客户的尺码信息,准确推荐合适的尺码。
在销售过程中,客户常常会询问运费问题,这涉及到首次购买和退换货两种场景。没有上下文信息,机器人只能解读“运费”,而无法准确判断客户询问的是首次购物还是退换货的运费,可能导致错误回复。而加入上下文理解后,机器人可以准确判断客户的实际需求,给出正确的回复。
另一个常见的售中场景是关于活动赠品的问题。当店铺开展活动并提供赠品时,客户的问题可能是针对赠品而非商品,需要机器人通过语境来识别,避免混淆这两种提问,给出正确的答案。
这项技术不仅可用于智能对话,还可应用于智能营销、智能质检、情绪识别等领域,为客服行业带来更多可能性。
这意味着我们为客户提供的服务将更加高效和精准。项目负责人张翀表示,目前我们主要应用在语义识别上,但未来可以在更多业务线上推广。我们将其视为一种基础能力,支撑公司整体算法产品的实现。
晓多期待上下文语义识别技术能在各个领域广泛应用,通过推动这项技术的普及,机器人能够自动生成尺码表,自动获取个性化对话内容,系统自动提取对接等,从而结束人工配置的时代,迎接从数据中学习后智能化自动生成的新时代。