多模态知识水平评估与学习表现预测方法、系统及介质技术方案

本发明专利技术属于个性化学习技术领域，公开了一种多模态知识水平评估与学习表现预测方法、系统及介质，方法包括：采集学习者的学习行为特征与学习资源特征，引入循环神经网络和卷积神经网络，对试题的文本语义特征和图像语义特征分别进行表示学习，经过特征融合获得试题融合语义特征；构建基于门控的学习状态追踪模型，预测学生将获取的共性知识增量；融合表示学习者的共性知识增量与试题融合语义特征，预测下一时刻学习者的作答反应，并进行训练；应用训练后的参数预测学习者的学习知识状态。本发明专利技术提供的预测方法及系统不仅实现了更为精准的学习者作答反应预测，还能预测学习者的学习知识状态，从而辅助学生高效开展更有针对性的学习工作。习工作。习工作。

【技术实现步骤摘要】
多模态知识水平评估与学习表现预测方法、系统及介质


[0001]本专利技术属于个性化学习
，尤其涉及一种多模态知识水平评估与学习表现预测方法、系统及介质。

技术介绍

[0002]随着教育信息化进程的逐渐深入，由传统教育与信息技术的融合催生出的在线学习模式逐渐走入大众视野。不同于传统教学形式，以慕课、学堂在线、edX为代表的在线教育平台能够提供来自世界各地的多媒体优质教学资源，方便学生能够随时浏览各类课程。然而面对学习资源的日渐庞杂，学生难以筛选出契合自身学习需求的资源，这与在线教育所期望的提高学生学习效率与效果的目标背道而驰。
[0003]学习表现预测的目标是根据学习者在过去某一学习任务中的学习行为建立知识状态随时序变化的模型，以预测学习者在下一次作答时的学习表现。利用学生在线学习时留下的大量学习数据，学习表现预测方法能够分析学生的学习情况，提供个性化的学习方案，满足学生的个性化学习需求。目前，较为主流的学习表现预测方法根据机器学习方法的不同，主要分为传统学习表现预测方法与基于深度学习的学习表现预测方法两类。传统学习表现预测方法以基于贝叶斯的学习表现预测方法为代表，根据状态转移矩阵来预测下个状态，根据当前状态来预测学生的作答反应，然而此方法用二元组表示学生的知识掌握情况并不准确，并且在大数据量的数据集中预测效果欠佳。基于深度学习的学习表现预测方法基于深度算法，引入循环神经网络处理相关任务，在准确性等方面有了很大的提升，但只考虑了试题的知识点特征，对学习状态的建模较为单一，可解释性有限，且预测结果的稳定性和准确性仍有待提高。
[0004]基于深度学习的学习表现预测方法基于大量数据，在准确性等方面的表现优于传统学习表现预测方法，因此下面对现有技术的讨论以分析基于深度学习的学习表现预测方法为主。
[0005]通过上述分析，现有技术存在的问题及缺陷为：
[0006](1)现有技术中基于深度学习的学习表现预测方法仅考虑试题的知识点作为特征，而忽视了试题的文本和图像信息对学习者作答的影响；
[0007](2)现有技术中的基于深度学习的学习表现预测方法对学习者知识掌握的建模不够准确，忽略了特定概念试题对学习者整个知识状态的影响。

技术实现思路

[0008]针对现有技术存在的问题，本专利技术提供了一种多模态知识水平评估与学习表现预测方法、系统及介质。
[0009]本专利技术是这样实现的，一种多模态知识水平评估与学习表现预测方法，所述多模态知识水平评估与学习表现预测方法包括：
[0010]采集学习者的学习行为特征与学习资源特征，引入循环神经网络和卷积神经网络
对试题的文本语义特征和图像语义特征分别进行深度表示学习，特征融合后得到试题融合语义特征；构建基于门控的学习状态追踪模型预测学习者获取的共性知识增量；融合共性知识增量与试题融合语义特征，预测下一时刻的作答反应，并构造损失函数进行训练；应用训练后的参数对学习知识状态进行预测。
[0011]进一步，所述学习行为特征与学习资源特征是从学习者作答序列中采集得到的，所述学习行为特征为包含时序信息的作答反应特征，学习资源特征包括学习资源的内容特征与知识点特征，其中所述学习资源的内容特征分为试题的文本内容特征与图像内容特征；
[0012]所述循环神经网络对试题的文本内容特征进行深度学习表示，包括：
[0013]对试题文字样本进行分词、去除停用词的预处理操作，并利用词向量模型Word2vec中的CBOW算法处理试题，根据词的上下文对目标词进行预测，从而将获得试题词级别的嵌入表示；采用双向的门控循环单元网络，分别获取试题文本在正向、反向两个顺序上的词级语义特征：
[0014][0015][0016]式中，a1,a2,b1,b2为权重系数，tanh为激活函数，和分别为t时刻正向和反向的隐藏层输出；
[0017]对和进行特征融合得到试题在词级别的双向语义特征：
[0018][0019]对所述双向语义特征使用最大池化操作进行映射，获得试题的文本语义特征：
[0020]x
v
＝max(v1，v2，...，v
T
)
[0021]式中，T是试题在句子层面上词的个数；
[0022]所述卷积神经网络对试题的图像内容特征进行深度学习表示，包括：
[0023]对试题图像样本进行尺寸调整，统一大小为128*128；构建针对试题图像内容的卷积神经网络，包括九层神经网络，前六层为卷积层与池化层交替排列，后三层均为线性层，其中三个卷积层的卷积核均为3
×
3，输入特征图尺寸分别为128、64、32；三个池化层均为最大池化层，使用2
×
2的滤波器，步长为2；将试题图像样本输入到构建的卷积神经网络中，获得试题的图像语义特征表示。
[0024]进一步，所述试题融合语义特征表达式为：
[0025][0026]式中，x
vt
为t时刻作答试题的文本语义特征，x
ct
为t时刻作答试题的图像语义特征；
[0027]综合所述试题融合语义特征与所述作答反应特征，得到学习者的综合作答向量，表示为：
[0028][0029]式中，x
t
是所述试题融合语义特征的向量；r
t
则是采集到的学习者作答反应特征，
即真实作答反应情况；0是一个与x
t
维度相同的全零向量。
[0030]进一步，所述构建基于门控的学习状态追踪模型预测学习者获取的共性知识增量的具体过程包括：
[0031]将学习者的综合作答向量输入到门控循环单元网络中，计算求得t时刻的隐状态，进而构建基于门控的学习状态追踪模型，追踪学习者随时序变化的学习状态矩阵：
[0032]Z
t
＝sigmoid(W
Z
·
[H
t
‑1，c
t
]+b
Z
)
[0033]R
t
＝sigmoid(W
R
·
[H
t
‑1，c
t
]+b
R
)
[0034][0035][0036]式中，Z
t
与R
t
分别为更新门与重置门的门值，由t
‑
1时刻的隐状态H
t
‑1与t时刻综合作答向量c
t
拼接后分别进行线性变换得到，W
Z
,W
R
,W为权重矩阵，b
Z
,b
R
,b为对应的偏置项，sigmoid和tanh为激活函数，其中是t时刻的候选隐藏状态，H
t
表示t时刻的隐藏状态，也可表示此时的学习状态矩阵；
[0037]采集到的试题知识点特征，通过线性层嵌入表示为知识嵌入向量；
[0038]构建存储着本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态知识水平评估与学习表现预测方法，其特征在于，所述多模态知识水平评估与学习表现预测方法包括：采集学习者的学习行为特征与学习资源特征，引入循环神经网络和卷积神经网络对试题的文本语义特征和图像语义特征分别进行深度表示学习，特征融合后得到试题融合语义特征；构建基于门控的学习状态追踪模型预测学习者获取的共性知识增量；融合共性知识增量与试题融合语义特征，预测下一时刻的作答反应，并构造损失函数进行训练；应用训练后的参数对学习知识状态进行预测。2.根据权利要求1所述多模态知识水平评估与学习表现预测方法，其特征在于，所述学习行为特征与学习资源特征是从学习者作答序列中采集得到的，所述学习行为特征为包含时序信息的作答反应特征，学习资源特征包括学习资源的内容特征与知识点特征，其中所述学习资源的内容特征分为试题的文本内容特征与图像内容特征；所述循环神经网络对试题的文本内容特征进行深度学习表示，包括：对试题文字样本进行分词、去除停用词的预处理操作，并利用词向量模型Word2vec中的CBOW算法处理试题，根据词的上下文对目标词进行预测，从而将获得试题词级别的嵌入表示；采用双向的门控循环单元网络，分别获取试题文本在正向、反向两个顺序上的词级语义特征：义特征：式中，a1,a2,b1,b2为权重系数，tanh为激活函数，和分别为t时刻正向和反向的隐藏层输出；对和进行特征融合得到试题在词级别的双向语义特征：对所述双向语义特征使用最大池化操作进行映射，获得试题的文本语义特征：x
v
＝max(v1，v2，...，v
T
)式中，T是试题在句子层面上词的个数；所述卷积神经网络对试题的图像内容特征进行深度学习表示，包括：对试题图像样本进行尺寸调整，统一大小为128*128；构建针对试题图像内容的卷积神经网络，包括九层神经网络，前六层为卷积层与池化层交替排列，后三层均为线性层，其中三个卷积层的卷积核均为3
×
3，输入特征图尺寸分别为128、64、32；三个池化层均为最大池化层，使用2
×
2的滤波器，步长为2；将试题图像样本输入到构建的卷积神经网络中，获得试题的图像语义特征表示。3.根据权利要求1所述多模态知识水平评估与学习表现预测方法，其特征在于，所述试题融合语义特征表达式为：式中，x
vt
为t时刻作答试题的文本语义特征，x
ct
为t时刻作答试题的图像语义特征；综合所述试题融合语义特征与所述作答反应特征，得到学习者的综合作答向量，表示为：
式中，x
t
是所述试题融合语义特征的向量；r
t
则是采集到的学习者作答反应特征，即真实作答反应情况；0是一个与x
t
维度相同的全零向量。4.根据权利要求1所述多模态知识水平评估与学习表现预测方法，其特征在于，所述构建基于门控的学习状态追踪模型预测学习者获取的共性知识增量的具体过程包括：将学习者的综合作答向量输入到门控循环单元网络中，计算求得t时刻的隐状态，进而构建基于门控的学习状态追踪模型，追踪学习者随时序变化的学习状态矩阵：Z
t
＝sigmoid(W
Z
·
[H
t
‑1，c
t
]+b
Z
)R
t
＝sigmoid(W
R
·
[H
t
‑1，c
t
]+b
R
))式中，Z
t
与R
t
分别为更新门与重置门的门值，由t
‑
1时刻的隐状态H
t
‑1与t时刻综合作答向量c
t
拼接后分别进行线性变换得到，W

【专利技术属性】
技术研发人员：王志锋，陆子欣，左明章，王继新，董石，罗恒，田元，闵秋莎，夏丹，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：