近期，自然语言处理（NLP）领域异常火热，预训练模型不断刷新榜单，令众多研究人员和开发者既兴奋又充满挑战感。

自从2018年10月Google推出BERT以来，NLP领域的预训练模型发展迅速，似乎按下了快进键。在BERT问世之前，人们主要关注基于Word Embedding的Word2Vec方法。2017年6月，Google提出了Transformer网络，而2018年2月发布的ELMo并未采用Transformer。四个月后，OpenAI推出的基于Transformer的GPT预训练模型引起了广泛关注。直到2018年10月，BERT的诞生震撼了整个NLP领域，刷新了11项NLP任务的成绩，成为NLP技术发展的重要里程碑。从那时起，NLP预训练模型技术的“屠榜”之路便一发不可收拾。

在BERT之后，2019年2月，OpenAI发布了GPT2.0，再次引爆了NLP圈。同年，ICML会议上微软提出了一个新的通用预训练方法——MASS，在序列到序列的自然语言生成任务中全面超越了BERT和GPT。2019年6月，Google联合CMU发布了XLNet模型，该模型在多项任务中碾压了BERT。同年7月，Facebook AI提出的RoBERTa再次刷新了榜单。

在国内，学术界和产业界对NLP预训练模型技术的跟进非常迅速。2019年3月，百度首次发布了适用于中文任务的预训练模型ERNIE。7月31日，百度发布了升级版ERNIE 2.0，在英文任务中也取得了显著突破，并在16项中英文任务上超越了BERT和XLNet，达到了当前的最佳水平（SOTA）。

NLP预训练模型技术在过去几年里飞速发展，不断有新工作提出，这使得许多学习者感叹技术进步的速度之快。新技术对NLP领域的影响究竟如何？它们在实际应用中的表现如何？未来的发展方向又在哪里？

或许，BERT的出现激发了人们对NLP发展的新希望，吸引了更多开发者进入这一领域。但也有不少人仍在观望，担心这一切是否只是一场泡沫。然而，有疑问并不是坏事，我们正是在不断探索中前行。

[b]如果你心中有很多疑问，却找不到地方提问，无人解答，那么这次AI科技大本营联合AI ProCon 2019（AI开发者大会）为你提供了难得的机会！[/b]

[b]具体有哪些福利？[/b]

只需说出你的问题，我们就会邀请AI开发者大会（AI ProCon）NLP论坛的重量级嘉宾为你答疑解惑。

[b]嘉宾阵容：[/b]

[list] [] [b]张俊林：[/b] 新浪微博机器学习团队AI Lab负责人（专题出品人） [] [b]刘群：[/b] 华为诺亚方舟实验室语音语义首席科学家 [] [b]初敏：[/b] 思必驰副总裁、北京研发院院长 [] [b]周力：[/b] 微软小冰全球首席架构师及研发总监 [] [b]邵浩：[/b] 上海瓦歌智能有限公司总经理，狗尾草科技人工智能研究院院长 [] [b]崔一鸣：[/b] 科大讯飞AI研究院资深研究员 [/list]

更多嘉宾正在确认中……

[b]如何参与？[/b]

[b]如何提问？[/b] 扫描下方小助手二维码，加入大会福利交流群，在群里@小助手，提出你的问题即可。提问格式：

问题：xxxxx

提问者：（群内昵称）

[b]社群福利：[/b] 扫码添加小助手，回复：大会，加入2019 AI开发者大会福利群，即可参与提问活动！程序员们还可以在群内参与七夕拼团活动。

[b]问题征集时间：[/b] 2019年8月5日-8月12日

[b]问题解答时间：[/b] 2019年8月12日-8月18日

[b]答案公布时间：[/b] 2019年8月19日-8月25日

答案将在AI科技大本营公布，敬请期待！

期待在2019 AI开发者大会（AI ProCon）现场与各位专家面对面交流！

扫码加入2019 AI开发者大会福利群，留下你的问题吧！（被选中的提问者还有机会获得精美的礼品，如CSDN二十周年纪念版T恤一件或技术图书一本）