自然语言理解和生成一直是人工智能领域的一大难题，因为语言本身的复杂性和模糊性对AI系统构成了巨大挑战。近日，斯坦福大学教授、IJCAI卓越研究奖得主Yoav Shoham创立的AI21 Labs发布了一种新模型，能显著提升词汇消歧的能力，并推出了一款名为“HAIM”的文本生成系统，其可控性优于现有的其他文本生成工具。

AI21 Labs的目标是开发具备前所未有的出色自然语言理解和生成能力的AI系统。例如，当我们读到“他是一位很棒的低音提琴手，但他讨厌吃低音鱼”，人类很容易分辨出这两个“低音”指的是不同的事物——一个是乐器，另一个是淡水鱼。然而，对于AI来说，这种简单的歧义往往难以处理。同样，经典的威诺格拉德模式（Winograd Schema）也经常让AI系统困惑，比如句子“这个奖杯放不进箱子里，因为它太大了”。在这种情况下，AI系统很难判断“它”指的是奖杯还是箱子。

为了改善算法对语言歧义的理解，AI21 Labs最近发布了一篇题为《SenseBERT: Driving Some Sense into BERT》的研究论文，提出了一种新的模型，该模型不仅能预测遮蔽的词汇，还能预测这些词汇在特定上下文中的实际含义。研究人员利用英语词汇数据库WordNet作为标注参考系统，设计了一个网络来预测词语在上下文中的实际意义，然后将这个预训练网络嵌入到BERT模型中。

这项研究是AI21 Labs的重要成果之一，在过去的一年半里，他们一直秘密进行这项工作。AI21 Labs成立于2017年，总部位于以色列特拉维夫，由斯坦福大学计算机科学系荣誉退休教授、AI Index创始人Yoav Shoham和以色列军事情报局8200部队前网络安全团队负责人Ori Goshen共同创立。

AI21 Labs与DeepMind和OpenAI一样，是一家商业化的AI公司，专注于将传统的知识表示方法与深度神经网络相结合。知识表示在1980年代非常流行，是一种从语言中提取语义信息的机器学习技术。近年来，虽然神经网络在许多AI领域取得了显著进步，但它们仍然难以处理语义问题。即使是目前最先进的自然语言理解(NLU)系统，在对抗性数据样本面前也显得脆弱不堪。例如，2017年斯坦福大学的研究人员发现，向SQuAD问答数据集添加对抗性问题，可以将16个公开模型的平均F1分数从75%降至36%。

此外，文本生成系统也面临类似的问题。今年初，OpenAI发布了语言模型GPT-2，能够生成逼真的文本段落，但斯坦福大学计算机科学系副教授Percy Liang指出：“尽管GPT-2可以像人类一样写作，但它并不清楚自己写的内容。”Shoham博士也表示：“AI仍然缺乏五岁儿童所具有的常识，距离实现人类智能还有很长的路要走。”

Shoham博士因为在知识表示和博弈论领域的贡献而知名，他认为改进神经网络需要借助知识表示的力量。Shoham博士近期荣获了IJCAI 2019卓越研究奖，并在大会上发言：“我没有看到神经网络在短时间内学会算术、时空、因果关系、心理状态、言语行为等的证据。而知识表示准确聚焦于编码这些难以理解的概念。”

2017年，Shoham博士在一个面向弱势群体推广编程技能的以色列非营利项目中认识了Ori Goshen，两人志同道合，决定共同创办AI21 Labs，致力于开发具备出色自然语言理解和生成能力的AI系统。Shoham博士的好友Mobileye首席执行官Amnon Shashua是AI21 Labs的主要投资者和董事会主席，该公司拥有20名员工，并已从Pitango Ventures、8VC等机构获得了总计950万美元的投资。

除了SenseBERT之外，AI21 Labs还发布了一款名为HAIM的自研文本生成系统，其可控性优于其他前沿文本生成系统，如OpenAI的GPT-2和华盛顿大学的Grover。HAIM的工作机制与大多数文本生成器不同，它首先提供一段文本的开头和结尾，然后通过生成切题的中间段落来连接这两部分。HAIM的名字也经过精心设计，研究人员输入一段开头和结尾后，模型自动生成了“HAIM”这个名字，这被认为是对当前最优自然语言生成器的一种幽默描述。

AI21 Labs发布了HAIM-Large模型的演示版，该模型包含3.45亿个参数，是在40GB的OpenWebText数据集上训练而成的。用户可以通过访问AI21 Labs官网上的链接体验HAIM-Large模型的演示效果。

Shoham博士之前创立的多家AI公司均被高价收购，如今他再次创业，面对全新的挑战。AI21 Labs不仅需要大量的资金支持，还需要专注于科研活动，以实现其愿景——开发出能够解决自然语言理解和生成难题的系统。面对未知领域的探索，Shoham博士表示：“自然语言理解和生成是一个多方面的问题，我们可能只是部分理解了它。但成功的关键在于从富有成效的角度去理解它。我们不认为自己是最聪明的人，但我们相信自己有机会成功。”