一种基于元路径和注意力机制的知识追踪方法技术

本发明专利技术涉及知识追踪领域，提出了一种基于元路径和注意力机制的知识追踪方法。采集到的学生学习行为数据经过处理后，根据定义的元路径，采用随机游走方法生成路径实例，构建卷积神经网络得到路径实例语义信息。利用Embedding方法得到学生和习题的嵌入。利用Word2Vec与长短期记忆网络结合的方法得到知识点的嵌入，再根据自注意力机制获得知识点的融合嵌入。结合注意力机制和路径实例语义信息分别获得学生和习题的最终嵌入。将得到的嵌入与数据集涵盖的历史做题序列拼接后输入到长短期记忆网络中获取知识点熟练度。本发明专利技术在传统技术的基础上利用学生、习题、知识点间元路径的语义信息嵌入及知识点融合嵌入加强了对知识点熟练度的评估，提高了知识追踪的效果。提高了知识追踪的效果。提高了知识追踪的效果。

【技术实现步骤摘要】
一种基于元路径和注意力机制的知识追踪方法


[0001]本专利技术属于知识追踪领域，具体涉及一种基于元路径和注意力机制的知识追踪方法。

技术介绍

[0002]随着互联网与教育行业的深度融合，以智能化、数字化、个性化为主要特点的教育催生了如移动学习、智慧学习等大量的新型教育模式，传统教育模式的弊端得到了有效缓解的同时在线学习技术业已趋向于成熟。但是现有教学系统中缺少对学生和群组的认知结构、教学评价数据的深度挖掘分析及有效的习题及学习路径的推荐方法的研究。因此，为了增强自主学习能力，提高学习者自身知识状态水平及完善教师对学生的整体认知程度及相关系统，知识追踪便应运而生。
[0003]知识追踪是基于学生行为序列根据学生过去的答题情况对学生的知识掌握情况进行建模从而预测学生对知识的掌握程度的一种技术，同时也是自适应教育系统的要点与关键。无论是学习路径的规划或者个性化习题推荐中，第一步都是能够精准预测学生对知识的熟练程度。知识追踪来源于计算机领域的认知诊断任务，最初其目的是为了区分心理学方面的认知诊断任务，但随着计算机技术的发展，知识追踪已演变成教育大数据领域不可或缺的一个研究方向且与原始任务认知诊断也有了较大的不同。首先与认知诊断不同，知识追踪模型均考虑时序且大部分都是序列模型如基于长短期记忆网络(LSTM)、记忆增强网络、隐马尔科夫模型等等这类序列模型提出的，即使少量知识追踪模型虽然是非序列模型，但也是考虑时序因素的，尤其是通过提取时序特征来考虑时序。
[0004]按照现有技术该方法可以大致分成基于因子分析的利用特征工程提取人工特征的知识追踪，如项目反应理论(IRT)、Performance Factors Analysis(PFA)、Knowledge Tracing Machines(KTM)和Difficulty,Ability,Skill,and Student Skill practice History,and builds on the DASH model from Lindsey(DAS3H)。基于概率图模型的知识追踪，如Bayesian Knowledge Tracing Model(BKT)、KPT:Knowledgeable Prompt
‑
tuning(KPT)、fuzzy cognitive diagnosis framework(Fuzzy CDF)和基于深度学习的知识追踪，如Exercise
‑
Enhanced Recurrent Neural Network(EERNN),EKT、Self
‑
Attentive model for Knowledge Tracing(SAKT)，Relation
‑
Aware Self
‑
Attention for Knowledge Tracing(RKT)，Context
‑
Aware Attentive Knowledge Tracing(AKT)等三大类。当前在工业界的应用当中，三种模型因各有优劣所以都有应用。基于因子分析的模型通过Q矩阵等形式有效利用了习题包含的知识点信息，提升模型效果的同时也直观反映了用户对知识点的掌握情况，但是该类模型可拓展性差，难以利用其他如做题间隔、习题文本等静态信息，浪费了大量的语义信息等。基于概率图类的模型大多采用了教育学理论，可解释性较强，在概率图建设的合理时具有较为优异的表现，反之模型效果将会较差，该类模型依赖专家对教育环境的理解。基于深度学习的模型是随着异构数据的出现而兴起的方法，凭借着对异构数据的有效处理而取得较为优异的效果，但由于深度学习技术的不可解释性限制了深度学
习在知识追踪中的应用，并且当前基于深度学习的知识追踪应用中忽略了异构数据间元路径的显示信息及知识点的高阶信息对学生知识点熟练程度预测的影响，对模型的效果造成了影响。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了一个基于元路径及注意力机制的知识追踪方法，包括：
[0006]步骤1：采集学生学习行为数据，定义无效数据并对其进行数据清洗，将清洗后的数据整理成数据集，定义元路径P并根据元路径采用随机游走算法生成路径实例p；
[0007]步骤1.1：采集学生学习行为数据，包括三类实体：学生U、习题I、知识点KC；
[0008]步骤1.2：定义提交次数(一个学生做同一习题的次数)少于α次、正确率(一个学生做同一习题的正确率)低于γ、记录数(一道习题被练习的次数)少于λ条的数据为无效数据，对学生学习行为数据中的无效数据进行数据清洗，将清洗后的数据整理成数据集；
[0009]步骤1.3：定义包含不同语义信息的元路径P，包括：UIUI与UIKCI，元路径UIUI表示做了相同习题i
a
的学生还做了其他习题i
b
，元路径UIKCI表示学生做了习题i
a
还做了同一知识点的其他习题i
b
，根据元路径P采用随机游走算法基于数据集生成路径实例p；
[0010]步骤2：构建1
×
1卷积神经网络CNN，并将路径实例p进行嵌入，再利用最大池化操作得到元路径的嵌入l
P
；
[0011]步骤2.1：将路径实例学生学习行为实体作为节点，利用Embedding方法，得到节点嵌入，再连接节点嵌入得到连接节点嵌入所形成的嵌入矩阵X
p
，X
p
∈R
L
×
d
，R为实数集，L为路径实例的长度，d为实体的嵌入维度；
[0012]步骤2.2：构建由单个卷积层和单个池化层组成的1
×
1卷积神经网络模型CNN，将连接节点嵌入所形成的嵌入矩阵X
p
输入到卷积神经网络中，得到嵌入矩阵t
p
，公式如下：
[0013]t
p
＝CNN(X
p
,β)
ꢀꢀꢀꢀꢀ
(1)
[0014]式中，t
p
为路径实例p的嵌入矩阵，CNN(
·
)为卷积神经网络，X
p
为连接节点嵌入所形成的嵌入矩阵，β为卷积神经网络中的输入通道数、输出通道数、卷积核个数、步幅及填充；
[0015]步骤2.3：在路径实例嵌入矩阵t
p
中随机选择s个路径实例的嵌入，利用最大池化max
‑
pooling操作从s个路径实例的嵌入中导出元路径P的嵌入l
P
；
[0016][0017]式中，l
P
为元路径P的嵌入，max
‑
pooling(
·
)为最大池化操作，为选择的s个路径实例的嵌入；
[0018]步骤3：将数据集中的学生和习题利用numpy库进行获取独热表示操作，利用torch框架中的Embeddin本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元路径和注意力机制的知识追踪方法，其特征在于，包括：步骤1：采集学生学习行为数据，定义无效数据并对其进行数据清洗，将清洗后的数据整理成数据集，定义元路径P并根据元路径采用随机游走算法生成路径实例p；步骤2：构建1
×
1卷积神经网络CNN，并将路径实例p进行嵌入，再利用最大池化操作得到元路径的嵌入l
P
；步骤3：将数据集中的学生和习题利用numpy库进行获取独热表示操作，利用torch框架中的Embedding方法将学生和习题的独热表示转换为低维嵌入，得到学生嵌入X
u
和题目嵌入Y
i
；步骤4：利用注意力机制获取代表不同学生U、习题I、知识点KC交互的元路径P注意力权重θ
u,i,P
，得到路径实例语义信息的嵌入l
u
→
i
；步骤5：利用路径实例语义信息的嵌入l
u
→
i
分别求得学生、习题的注意力权重向量，通过逐元素相乘获取学生与习题的最终嵌入和步骤6：使用word2vec算法及长短期记忆网络将知识点KC进行嵌入，得到知识点的嵌入向量kc，利用遍历数据的方法构建习题知识点矩阵，再使用自注意力机制得到同一习题内包含的所有知识点的融合嵌入向量步骤7：将路径实例语义信息嵌入l
u
→
i
、知识点融合嵌入学生与习题的最终嵌入和连同数据集涵盖的历史做题序列S联立，得到学生、习题、知识点和路径实例语义信息之间的交互信息将其代入长短期记忆网络，得到学生的相关知识熟练度2.根据权利要求1所述的一种基于元路径和注意力机制的知识追踪方法，其特征在于，步骤1包括：步骤1.1：采集学生学习行为数据，包括三类实体：学生U、习题I、知识点KC；步骤1.2：定义提交次数少于α次、正确率低于γ、记录数少于λ条的数据为无效数据，对学生学习行为数据中的无效数据进行数据清洗，将清洗后的数据整理成数据集丢失的人类活动数据采用线性插值算法填补缺失值；步骤1.3：定义包含不同语义信息的元路径P，包括：UIUI与UIKCI，元路径UIUI表示做了相同习题i
a
的学生还做了其他习题i
b
，元路径UIKCI表示学生做了习题i
a
还做了同一知识点的其他习题i
b
，根据元路径P采用随机游走算法基于数据集生成路径实例p。3.根据权利要求1所述的一种基于元路径和注意力机制的知识追踪方法，其特征在于，步骤2包括：步骤2.1：将路径实例学生学习行为实体作为节点，利用Embedding方法，得到节点嵌入，再连接节点嵌入得到连接节点嵌入所形成的嵌入矩阵X
p
，X
p
∈R
L
×
d
，R为实数集，L为路径实例的长度，d为实体的嵌入维度；步骤2.2：构建由单个卷积层和单个池化层组成的1
×
1卷积神经网络模型CNN，将连接节点嵌入所形成的嵌入矩阵X
p
输入到卷积神经网络中，得到嵌入矩阵t
p
，公式如下：t
p
＝CNN(X
p
,β)式中，t
p
为路径实例p的嵌入矩阵，CNN(
·
)为卷积神经网络，X
p
为连接节点嵌入所形成
的嵌入矩阵，β为卷积神经网络中的输入通道数、输出通道数、卷积核个数、步幅及填充；步骤2.3：在路径实例嵌入矩阵t
p
中随机选择s个路径实例的嵌入，利用最大池化max
‑
pooling操作从s个路径实例的嵌入中导出元路径P的嵌入l
P
；式中，l
P
为元路径P的嵌入，max
‑
pooling(
·
)为最大池化操作，为选择的s个路径实例的嵌入。4.根据权利要求1所述的一种基于元路径和注意力机制的知识追踪方法，其特征在于，步骤4包括：步骤4.1：利用torch框架中的全连接层Linear函数，将学生、习题、元路径嵌入的维度信息输入到Xavier初始化函数中，得到全连接层权重矩阵和偏差向量；步骤4.2：采用两层架构分别获取元路径UIUI与UIKCI上不同学生U、习题I、知识点KC交互的元路径注意力权重，公式如下：互的元路径注意力权重，公式如下：式中，为第一层学生、习题交互的元路径注意力权重，W
u(1)
为第一层学生的权重矩阵，W
i(1)
为第一层习题的权重矩阵，W
P(1)
为第一层元路径嵌入l
P
的权重矩阵，b
(1)
为第一层的偏差向量，f(
·
)为ReLU函数；式中，为第二层学生、习题交互的元路径注意力权重，W

【专利技术属性】
技术研发人员：张天成，杨少朋，毛思源，于明鹤，于戈，
申请(专利权)人：东北大学，
类型：发明
国别省市：