一种基于Attention深度学习模型的学生辍课预测方法技术

本发明专利技术公开了一种基于Attention深度学习模型的学生辍课预测方法，包括对行为记录进行编码和时间窗口化分处理，生成多个时间片行为向量矩阵；基于CNN网络改进的卷积层对多个时间片行为向量矩阵进行处理得到多个具有局部关联关系的特征向量矩阵；基于BI‑GRU模型对多个具有局部关联关系的特征向量矩阵进行时序特性的特征提取，生成多个具有时间序列关系的行为特征向量矩阵；基于Attention机制对各时刻隐层特征赋予不同的权值，将不同时刻的隐层状态与权重进行加权求和，生成行为特征表示向量，并输入分类层，通过Sigmoid函数进行预测，得到预测结果。通过考虑到学生学习行为之间的关系和不同行为特征对于辍课预测的影响程度实现预测，提高辍课预测的精准度。

A prediction method of dropout based on attention deep learning model

【技术实现步骤摘要】
一种基于Attention深度学习模型的学生辍课预测方法
本专利技术涉及机器学习、深度学习及数据挖掘
，尤其涉及一种基于Attention深度学习模型的学生辍课预测方法。
技术介绍
随着互联网的飞速发展，教育模式开始发生变化，越来越多不同人群对教育质量以及教育内容的需求程度不一样，因此大量的网络课程学习平台开始应运而生。MOOC这种大型在线学习平台自2012年来开始出现以来，包括了来自世界各地的名校在MOOC上发布课程。学习平台跨越了时间和空间甚至身份的局限，只要是愿意学习的人群，不论从事任何职业都可以通过注册账号进行网上在线学习，但是这也带来严重的问题，辍课率非常高，已经高达90％以上。如何保障在线教育的资源的合理利用，保证在线学生能真正学到知识，因为许多的学生进行了网络课程注册但是却没有参与课程学习，这严重影响了在线教育质量，以及在线教育资源的浪费。如何帮助这些在线平台降低辍课率，提高学习资源的利用率对于教育平台的发展是至关重要的。传统的关于MOOC辍课预测的相关研究，大多数都是对学生学习行为信息特征的简单抽取，利用传统的机器学习方法进行预测，没有考虑到学习行为的序列关系，以及学习行为彼此之间的影响，对于辍课预测的精确度产生影响。因此提高学生辍课预测方法的精准度的问题亟待解决。
技术实现思路
本专利技术的目的在于提供一种基于Attention深度学习模型的学生辍课预测方法，旨在解决传统辍课预测方法的精准度低的问题。为实现上述目的，本专利技术提供了一种基于Attention深度学习模型的学生辍课预测方法，包括：获取原始在线学习行为相关数据的数据集进行筛选和预处理；对筛选和预处理后的行为记录进行编码和时间窗口化分处理，生成多个时间片行为向量矩阵；基于CNN网络改进的卷积层对多个所述时间片行为向量矩阵进行处理得到多个具有局部关联关系的特征向量矩阵；基于BI-GRU模型对多个所述具有局部关联关系的特征向量矩阵进行时序特性的特征提取，生成多个具有时间序列关系的行为特征向量矩阵；基于Attention机制自适应地对各时刻隐层特征赋予不同的权值，将不同时刻的隐层状态与权重进行加权求和，生成行为特征表示向量；将所述行为特征表示向量输入分类层，通过Sigmoid函数进行预测，得到预测结果。在一实施方式中，获取原始在线学习行为相关数据的数据集进行筛选和预处理，具体包括：获取原始在线学习行为相关数据的数据集；将所述数据集进行筛选，选择enrollment_id、time、source、event、course_id五个属性形成一个实例新的行为记录；重新划分训练集和测试集。在一实施方式中，对筛选和预处理后的行为记录进行编码和时间窗口化分处理，生成多个时间片行为向量矩阵，具体包括：对于一个实例按照时间轴选取行为记录的三个属性source、event、course_id进行one-hot编码；对于没有行为记录的时间点，使用零向量进行填充；以小时为单位，将每一个时间点的行为向量，通过拼接和叠加形成一个48维的行为向量；对于每一个实例的所有记录以天为单位划分为多个时间窗口，每一个时间窗口是每小时的行为向量按时间顺序形成的一个时间片行为向量矩阵，大小为24*48。在一实施方式中，基于CNN网络改进的卷积层对多个所述时间片行为向量矩阵进行处理得到多个具有局部关联关系的特征向量矩阵，具体包括：抽离CNN网络中的卷积层，舍去池化层，标定一个局部序列向量，所述局部序列向量保持与原始记录对应的时间序列；标定不同大小的过滤器提取不同未知的局部特征表示，并通过相应维度的卷积层过滤器进行特征映射和卷积操作得到具有局部关联关系的特征向量矩阵。基于BI-GRU模型对多个所述具有局部关联关系的特征向量矩阵进行时序特性的特征提取，生成多个具有时间序列关系的行为特征向量矩阵，具体包括：将具有局部特征性的行为特征矩阵分别输入至前向的GRU神经网络和后向的GRU神经网络，分别得到前向和后向的各个时刻隐层状态表示向量矩阵，并进行拼接，得到多个具有局部关联关系的特征向量矩阵。在一实施方式中，基于Attention机制自适应地对各时刻隐层特征赋予不同的权值，将不同时刻的隐层状态与权重进行加权求和，生成行为特征表示向量，具体包括：通过Attention层，计算不同时刻隐层状态对于模型预测的影响权重；将BI-GRU模型不同时刻隐层状态的特征向量和影响权重，进行加权求和得到行为特征表示向量。在一实施方式中，对于一个实例按照时间轴选取行为记录的三个属性source、event、course_id进行one-hot编码，具体包括：转换各个属性为one-hot向量，将一个one-hot向量标定为一对二元组Enc(ri,q)∈{0,1}L，L表示一个行为向量的长度，ri表示第i条记录，q表示某个行为事件。本专利技术的一种基于Attention深度学习模型的学生辍课预测方法，通过学生的学习行为记录日志信息，进行预处理和特征提取，并且对提取到的特征向量通过增加权重，达到准确预测的目的。考虑到前后行为之间的彼此的双向影响，以及模型本身的影响，本专利技术使用BI-GRU模型进行时间序列关系特征提取，从模型本身参数设置上，减少了一个“门”，既可以减少训练时间而且也不容易产生过拟合问题，最重要的是也能解决学习行为之间的双向影响的时间序列问题；考虑到提取到的不同行为特征对于辍课影响程度的不同，使用Attention网络机制为提取出的不同特征向量分配不同的影响权重，使用sigmod分类器进行最后的预测任务，以此来提高辍课预测的精确度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种基于Attention深度学习模型的学生辍课预测方法的流程示意图；图2是本专利技术实施例步骤S101的具体流程示意图；图3是本专利技术实施例步骤S102的具体流程示意图；图4是本专利技术实施例步骤S103的具体流程示意图；图5是本专利技术实施例步骤S105的具体流程示意图；图6是本专利技术实施例模型的框架图；图7是本专利技术实施例one-hot编码规则的示意图；图8是本专利技术实施例辍课预测的过程的示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。请参阅图1，图1是本专利技术提供的一种基于Attention深度学习模型的学生辍课预测方本文档来自技高网...

【技术保护点】
1.一种基于Attention深度学习模型的学生辍课预测方法，其特征在于，包括：/n获取原始在线学习行为相关数据的数据集进行筛选和预处理；/n对筛选和预处理后的行为记录进行编码和时间窗口化分处理，生成多个时间片行为向量矩阵；/n基于CNN网络改进的卷积层对多个所述时间片行为向量矩阵进行处理得到多个具有局部关联关系的特征向量矩阵；/n基于BI-GRU模型对多个所述具有局部关联关系的特征向量矩阵进行时序特性的特征提取，生成多个具有时间序列关系的行为特征向量矩阵；/n基于Attention机制自适应地对各时刻隐层特征赋予不同的权值，将不同时刻的隐层状态与权重进行加权求和，生成行为特征表示向量；/n将所述行为特征表示向量输入分类层，通过Sigmoid函数进行预测，得到预测结果。/n

【技术特征摘要】
1.一种基于Attention深度学习模型的学生辍课预测方法，其特征在于，包括：
获取原始在线学习行为相关数据的数据集进行筛选和预处理；
对筛选和预处理后的行为记录进行编码和时间窗口化分处理，生成多个时间片行为向量矩阵；
基于CNN网络改进的卷积层对多个所述时间片行为向量矩阵进行处理得到多个具有局部关联关系的特征向量矩阵；
基于BI-GRU模型对多个所述具有局部关联关系的特征向量矩阵进行时序特性的特征提取，生成多个具有时间序列关系的行为特征向量矩阵；
基于Attention机制自适应地对各时刻隐层特征赋予不同的权值，将不同时刻的隐层状态与权重进行加权求和，生成行为特征表示向量；
将所述行为特征表示向量输入分类层，通过Sigmoid函数进行预测，得到预测结果。


2.如权利要求1所述的基于Attention深度学习模型的学生辍课预测方法，其特征在于，获取原始在线学习行为相关数据的数据集进行筛选和预处理，具体包括：
获取原始在线学习行为相关数据的数据集；
将所述数据集进行筛选，选择enrollment_id、time、source、event、course_id五个属性形成一个实例新的行为记录；
重新划分训练集和测试集。


3.如权利要求2所述的基于Attention深度学习模型的学生辍课预测方法，其特征在于，对筛选和预处理后的行为记录进行编码和时间窗口化分处理，生成多个时间片行为向量矩阵，具体包括：
对于一个实例按照时间轴选取行为记录的三个属性source、event、course_id进行one-hot编码；
对于没有行为记录的时间点，使用零向量进行填充；
以小时为单位，将每一个时间点的行为向量，通过拼接和叠加形成一个48维的行为向量；
对于每一个实例的所有记录以天为单位划分为多个时间窗口，每一个时间窗口是每小时的行为向量按时间顺序形成的一个时间片行为向量矩阵，大小为24*48。

【专利技术属性】
技术研发人员：常亮，张艳，刘铁园，古天龙，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45