一种基于混合深度神经网络的学生辍课预测方法技术

本发明专利技术涉及机器学习、深度学习及数据挖掘等技术领域，具体是涉及一种基于混合深度神经网络的学生辍课预测方法。本发明专利技术考虑到时间序列数据，进行了细粒度划分，并使用One‑hot编码规则和特征工程相结合，构建行为特征矩阵，有助于提高预测的准确性，并且使用一种新建的卷积神经网络(CNN)，进行局部关系特征提取。考虑到行为之间的序列关系，以及模型本身的影响，最后通过门控循环单元(GRU)网络进行时间序列关系特征提取，通过softmax层进行最后的预测任务，以此提高辍课预测的精确度。本发明专利技术使用三层的GRU提取行为矩阵之间存在的潜在具有时序关系的行为特征。

【技术实现步骤摘要】
一种基于混合深度神经网络的学生辍课预测方法(一)
本专利技术涉及机器学习、深度学习及数据挖掘等
，具体是涉及一种基于混合深度神经网络的学生辍课预测方法。(二)
技术介绍
近年来，随着互联网技术和教育资源的蓬勃发展，教育模式和学习方式也发生了很大的变化。大规模网络开放课程(MOOCs)，如Coursera,Udacity,Edx等在线平台，自2012年来开始出现以来，汇集了来自世界各地的优质的课程资源，推动着全球的教育事业的发展，在媒体，学术期刊和公众心目中占据重要位置。这些学习平台跨越了时间和空间的局限，吸引了越来越多的学生参加，他们有更多的自由来决定学习什么，什么时候，在哪里，以及如何学习，他们甚至可以完全停止学习。然而正是因为MOOCs平台的极高的灵活性，持续的高辍课率问题一直是MOOCs平台面临的一个挑战，这也成为影响MOOC发展的主要问题之一。先前的研究表明，91％至93％的学生中途辍课或者无法完成课程。这意味着大多数学生在课程结束前就已经辍课，严重浪费了教育资源，也影响MOOC平台的发展。因此如何降低辍课率，提高学生课程的完成度，保障教育的资源的合理利用，对于教育平台的发展是至关重要的。传统的关于MOOC辍课预测的相关研究，基本上集中在两方面。第一，特征提取方面：这些研究使用特征工程完成特征提取，很难从低级的点击流数据中提取出有意义的学生行为特征。并且使用特征工程提取数据不仅需要具备相应领域专业知识的人员，而且提取的特征也具有主观性，他们可能会把太多的注意力放在不重要的特征上忽略了某些重要的模式，引入了潜在的噪音数据。第二，在模型构建方面：早些年，研究者大都偏向使用机器学习算法进行辍课预测，但是对于所研究的,由于缺乏对在线学习复杂现象所需的模型稳定性和可靠性的考虑，机器学习算法，特别是决策树(DT)和神经网络(NN)对于数据的干扰非常敏感。由于MOOCs课程学习的比较灵活，这种便利导致学生行为数据的存在明显差异，这样的数据对于不稳定的机器学习算法，预测结果不可靠，预测精度低。目前已公布的专利技术专利“一种CNN-LSTM-SVM网络模型的构建及MOOC辍学预测方法”，公开号为CN10059716A，通过获取学生在线学习行为记录的日志数据进行预处理，得到多个时间片矩阵，对时间片矩阵进行网络训练，实现辍学预测。该专利技术(1)只考虑到了使用LSTM时间序列模型进行行为之间序列关系的刻画，但是忽略了模型本身又带来另外一个问题，为了记忆增加的三个“门”，参数比较多，容易产生过拟合而且训练时间长；(2)只是通过CNN-LSTM网络模型训练并提取特征，虽然能达到好的特征提取效果，但是对于提取出来的每一个特征却没有孰轻孰重的考虑，对于预测效果会产生一定的影响。本专利技术描述的“一种基于混合深度神经网络的学生辍课预测方法”通过对学生的点击流日志信息进行预处理，生成学生每天的行为表示矩阵，为了刻画学生不同访问时间对辍课行为的影响，本专利技术通过SE-Net对每一天的行为矩阵进行加权表示，生成每天的行为表示矩阵，然后使用一种新的CNN对行为特征进行局部关系提取，最后通过门控循环单元(GRU)网络进行时间序列关系特征提取，通过softmax层进行最后的预测任务，以此提高辍课预测的精确度。(三)
技术实现思路
针对上述现有技术中的不足，本专利技术要解决的是目前对于学生行为特征构建过程中行为特征信息之间的关系考虑的不够全面、不够精确，没有考虑到行为之间的时序关系以及不同行为特征对于辍学预测的影响程度，生成的预测模型不能很好地进行预测等问题，提供了一种基于混合深度神经网络的学生辍课预测方法。本专利技术的目的是这样实现的：步骤一、对已下载的好的KDD2015数据集的原始在线学习相关行为数据进行筛选和预处理；步骤二、对学生的每天的行为记录进行one-hot编码，生成多个行为特征矩阵；步骤三、为了刻画学生不同访问时间对辍课行为的影响程度，将步骤二得到的学生行为特征矩阵输入到SE-Net，计算学生历史不同时刻的学习行为特征对于最终预测的影响权重，并得到每一天的行为表示矩阵；步骤四、使用一种新CNN，通过卷积层对每一天的行为矩阵进行局部关系提取，然后重构，生成每一天的行为表示向量；步骤五、使用GRU网络，提取每一天的行为表示向量之间的时间序列关系；步骤六、最后通过全连接层softmax函数进行训练并预测，预测问题实际上是一个二值分类问题，我们将“不辍课”标记为1，“辍课”标记为0，softmax函数的输出是一个0-1之间的表示分类为“1”的概率值。与现有的技术相比，本专利技术具有如下优势：(1)在生成输入数据方面，本专利技术考虑到时间序列数据的进行了细粒度划分，并使用One-hot编码规则和特征工程相结合，构建行为特征矩阵，有助于提高预测的准确性。(2)考虑到不同时间段的学习行为对于最终的辍课预测的影响程度不一样，引入SE-Net网络，通过给每一天的行为矩阵分配权重来决定哪个时间段的行为特征对于辍课预测有决定性作用，从而提高模型的性能。(3)特征提取方面，本专利技术通过使用一种新建的卷积神经网络(CNN)，进行局部关系特征提取。(4)考虑到行为之间的序列关系，以及模型本身的影响，本专利技术使用三层的GRU提取行为矩阵之间存在的潜在具有时序关系的行为特征。从模型本身参数设置上，GRU模型比LSTM模型少了一个“门”，既可以减少了模型训练时间而且也不容易产生过拟合问题，最重要的是也能解决行为之间的彼此的关联关系问题。(四)附图说明图1为本专利技术的模型的框架图。图2为基于混合深度神经网络的学生辍课预测的整体流程图。图3为模型输入数据生成的流程图。图4为原始学习行为记录图。图5为不同潜在因素对辍课率的影响图。图6为学生每天的行为特征表示矩阵图。图7为原始记录转化one-hot编码图。图8为SE-Net的网络结构图。图9为CNN-Net的模块结构图。图10为GRU的逻辑单元结构图。图11为GRU网络结构图。(五)具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，以下结合具体实例，并参照附图，对本专利技术进一步详细阐述。本专利技术以基于混合深度神经网络的学生辍课预测为实例描述本专利技术方法的具体实施过程。本专利技术的模型框架如图1所示，基于混合深度神经网络的学生辍课预测的整体流程如图2所示。结合示意图说明具体步骤：步骤1、在KDD官网下载的KDDCUP2015比赛的数据集，对数据进行筛选，以及预处理步骤2、因为步骤1只是对数据进行初步选择，为了符合本模型的输入要求，需要继续对数据进行再次处理，因此对步骤1预处理后的学习行为记录，以天为单位进行One-hot编码处理，并且通过统计分析加入了与辍学行为发生相关的三个属性，得到多个行为表示矩阵；步骤3、虑到每一天的学习行为模式对最终辍课预测的影响程度不同，引入SE-Net对不同时刻的特征矩阵赋予不同的权值，生本文档来自技高网...

【技术保护点】
1.一种基于混合深度神经网络的学生辍课预测方法。其特征是：本专利技术通过对学生的点击流日志信息进行预处理，生成学生每天的行为表示矩阵，为了刻画学生不同访问时间对辍课行为的影响，通过SE-Net对每一天的行为矩阵进行加权表示，生成每天的行为表示矩阵，然后使用一种新的CNN对行为特征进行局部关系提取，最后通过门控循环单元(GRU)网络进行时间序列关系特征提取，通过softmax层进行最后的预测任务，以此提高辍课预测的精确度。/n其特征在于：/n

【技术特征摘要】
1.一种基于混合深度神经网络的学生辍课预测方法。其特征是：本发明通过对学生的点击流日志信息进行预处理，生成学生每天的行为表示矩阵，为了刻画学生不同访问时间对辍课行为的影响，通过SE-Net对每一天的行为矩阵进行加权表示，生成每天的行为表示矩阵，然后使用一种新的CNN对行为特征进行局部关系提取，最后通过门控循环单元(GRU)网络进行时间序列关系特征提取，通过softmax层进行最后的预测任务，以此提高辍课预测的精确度。
其特征在于：


2.根据权利要求1所述的一种基于混合深度神经网络的学生辍课预测方法。其特征是：在生成输入数据方面，本发明考虑到时间序列数据的进行了细粒度划分，并使用One-hot编码规则和特征工程相结合，构建行为特征矩阵，有助于提高预测的准确性。


3.根据权利要求1所述的一种基于混合深度神经网络的学生辍...

【专利技术属性】
技术研发人员：刘铁园，张艳，常亮，古天龙，李龙，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：广西;45