多模态机器学习,在线教育退课预测新停顿
作者头像
  • 沈新瑜
  • 2020-07-20 07:13:31 5

在线教育场景下的学生退课行为预测研究

在线教育领域中,学生退课行为预测一直是机器学习(ML)与教育(EDU)交叉学科的研究热点之一。近年来,这类研究主要集中在大规模开放在线课程(MOOC)的学生身上,通过收集平台登录记录和相关网页行为数据,研究人员构建了特征向量并结合机器学习模型,如逻辑回归、梯度提升决策树等,来预测潜在的高风险退课学生。

然而,针对K12在线教育平台的学生退课预测仍处于初步探索阶段。K12在线教育平台相较于MOOC平台拥有更多元的数据类型,包括课前课后与平台顾问的沟通记录以及课程过程中的音视频记录等。这些数据类型的不同使得先前针对MOOC平台的退课预测方法难以直接应用到K12在线教育场景中。

为此,我们利用某K12在线教育平台2018年秋季至冬季学期的学生行为数据,探索并尝试预测K12在线教育场景下的学生退课行为。研究过程中,我们从多种数据源出发,共发掘了超过80种与学生退课行为相关的特征变量,并提出了多种数据增强算法,最终实现了单日预测AUC超过80%的结果。

该研究成果发表在Educational Data Mining(EDM2020)会议上,论文题目为《在多模态在线环境中识别高风险K-12学生:一种机器学习方法》。

问题定义

对于退课学生的预测,我们借鉴了之前关于MOOC平台学生退课预测的方法,并结合K12教育场景的特点对预测结果的提前性要求进行了调整。具体而言,给定某学生s,及其在平台上的所有历史活动记录序列,我们定义了一系列时间点上的事件特征向量。此外,考虑到实际场景中对学生退课预测的目的是通过提前干预挽留学生,因此模型的预测结果需要具备前瞻性。即,提前预测的时间间隔长度以及在此时间间隔后模型给出的退课概率预测。

特征构建

针对K12在线学习平台的退课行为特点,我们从三个方面构建了相关特征:(1)课堂内行为、(2)课外行为和(3)动态行为。

  1. 课堂内行为特征:重点分析学生在课堂内的行为表现,如发言次数、内容等,以此评估学生的参与度和满意度。特征提取流程包括提取课堂音频数据、语音转文字、互动特征提取等步骤,并通过主成分分析(PCA)降维得到最终的特征向量。

  2. 课外行为特征:记录学生在正式上课前后的行为,如咨询课程、与顾问交流等。通过这些记录,我们挖掘了大约40种相关特征,涵盖学生咨询次数、课程购买情况等。

  3. 动态行为特征:记录学生近期预定和取消课程的频率,以及历史行为的变化趋势。这些特征有助于了解学生近期对课程的参与度和满意度的变化,从而更好地评估其整体满意度。

数据增强

传统的数据标注方法主要根据退费时间进行标记,这容易导致数据不平衡问题。为了克服这一问题,我们提出了一种基于重采样的数据增强方法。具体做法是将正样本的标记范围扩展到退费前一段时间,并采用非均匀重采样策略,使得越接近退课时间点的样本权重越高。我们尝试了三种不同的函数来模拟这种反比关系。

模型训练

在模型训练过程中,我们采用了5折交叉验证方法选择模型参数,并在学生维度上划分训练数据,以确保交叉验证的准确性。我们展示了不同特征对模型性能的影响,结果显示三类特征均对模型有积极影响,且课外类特征的效果最佳。

离线结果

我们利用2018年8月至2019年2月期间的3922名学生数据进行了实验,其中634名学生选择了退课。在我们的数据集中,共包含338428个观察样本。模型预测结果表明,我们提出的模型在1~14天的预测任务上优于其他模型,尤其是在正样本扩展区间为7天时,效果最佳。

在线结果

除了离线实验,我们还将该预测模型部署到线上平台,并在2019年2月至4月期间进行了在线测试。每天早上6点,模型会预测所有正常上课的学生的退课概率,并将退课概率最高的30%学生列为重点关注对象。结果显示,平均约70%的退课学生出现在前一天被预测的重点关注对象列表中。

招聘启事

AI科技回复希望可以招聘科技编辑/记者。办公地点在北京或深圳,职务为跟踪学术热点和人物专访。工作内容包括关注学术热点、采访人工智能领域的学者或研发人员、参加学术会议并进行报道。要求应聘者热爱人工智能学术研究,具备理工科背景,英语能力强,学习能力强,对前沿技术有一定了解。感兴趣者请将简历发送至jiangbaoshang@yanxishe.com。


以上是对原文内容的改写,确保了信息的准确性和完整性,同时避免了直接引用或过于相似的表达。

    本文来源:图灵汇
责任编辑: : 沈新瑜
声明:本文系图灵汇原创稿件,版权属图灵汇所有,未经授权不得转载,已经协议授权的媒体下载使用时须注明"稿件来源:图灵汇",违者将依法追究责任。
    分享
模态在线教育停顿机器预测学习
    下一篇