2021年4月19日至23日，EACL2021会议在线上顺利举行，这是计算语言学和自然语言处理领域的重要国际会议之一，在Google Scholar计算语言学期刊排名中位列第七。深兰科技的DeepBlueAI团队参与了“阿拉伯语讽刺检测与情感识别”比赛，并在讽刺检测和情感识别两项任务中取得了优异的成绩，分别获得了第二名和第三名。

任务介绍

讽刺检测旨在识别一段文本是否含有讽刺元素。讽刺性文本往往使用积极的语言表达消极的情感，这给情感分析系统带来了挑战。讽刺检测和情感识别在其他语言中已经得到了广泛的关注，但在阿拉伯语中研究较少。本次任务的目标是在给定的阿拉伯语推特文本中判断其情感倾向（积极、消极或中立）以及是否含有讽刺。

数据集分析

任务的数据集名为ArSarcasm-v2，包含了推特文本、讽刺标签、情感标签及方言信息。数据集中MSA（现代标准阿拉伯语）占比最大，达68.2%，而Maghrebi方言的样本较少，只有42条。通过对讽刺文本的情感分布分析发现，讽刺文本中89%带有消极情感，仅有3%带有积极情感。

模型构建

为了应对这一任务，我们采用了当前流行的预训练模型，包括专门为阿拉伯语设计的预训练模型——ArBertv02和多语言预训练模型XLM-Roberta。在模型结构上，我们选择了模型多层[CLS]位置的输入进行加权平均，然后通过全连接层和Multi-sample Dropout层得到损失。对于讽刺检测任务，我们使用二分类损失函数Binary Cross Entropy；对于情感识别任务，则采用三分类损失函数Cross Entropy。

训练策略

我们采用了多种训练策略，包括任务适应性预训练（TAPT）、对抗训练和知识蒸馏。TAPT能够增强预训练模型在特定数据集上的表现；对抗训练通过引入噪声提升模型的鲁棒性和泛化能力；知识蒸馏则通过大模型指导小模型学习，从而提升模型性能。

模型融合

为了进一步提升模型性能，我们采用了7折交叉验证策略，结合不同的预训练模型和训练策略训练了多个模型。针对讽刺检测任务，我们使用线性回归模型进行模型融合；而对于情感识别任务，则采用支持向量机（SVM）进行融合。

实验结果

通过7折交叉验证，我们评估了各模型在讽刺检测和情感识别任务上的表现。结果显示，XLM-Roberta模型整体表现较好，通过TAPT和知识蒸馏进一步提升了模型效果。在讽刺检测任务中，我们采用了线性回归进行模型融合，而在情感识别任务中则使用了SVM模型融合，最终均取得了较好的效果。

以上是关于本次比赛的详细介绍，深兰科技将继续探索自然语言处理领域的前沿技术，推动相关技术的发展。