基于层次记忆网络的知识追踪系统及方法技术方案

本发明专利技术公开了基于层次记忆网络的知识追踪系统，包括控制器组件、层次记忆组件、读头和写头组件，读头和写头组件设置在控制器组件和所述层记忆组件之间，读头和写头组件用于将控制器组件处理后的输入信息写入到所述层次记忆组件存储更新；层次记忆矩阵组件包括工作存储单元、长期存储单元、分割模块和衰减模块，分割模块用于将输入的信息分为工作记忆信息和长期记忆信息分别存入到工作存储单元和长期存储单元，衰减模块用于将存入长期存储单元的长期记忆信息进行衰减后存入到长期存储单元。本发明专利技术的基于层次记忆网络的知识追踪系统，模拟人类长期记忆和短期记忆的模式，对输入的知识信息进行分类衰减存储，使得预测更准确。

Knowledge tracking system and method based on hierarchical memory network

【技术实现步骤摘要】
基于层次记忆网络的知识追踪系统及方法
本专利技术属于知识追踪
，更具体地，涉及基于层次记忆网络的知识追踪系统及方法。
技术介绍
知识追踪的目标是通过分析学生的历史学习情况对学生的知识状态进行建模，知识状态代表学生在学习过程中对技能的掌握程度。知识追踪的难点在于学习过程是受到诸多认知因素影响的,尤其是人类记忆的复杂性。从模拟人类记忆的特点出发，我们可以将现有的知识追踪模型分成3类。第一类是静态知识追踪模型，其特点是使用逻辑回归的方法对学生和技能之间的联系进行建模，从而估计学生在学习过程中对技能的掌握程度。第二类是动态知识追踪模型,其特点是使用贝叶斯网络来建模学生学习过程中的知识状态变化，从而估计学生在学习过程中对技能的掌握程度。这两类模型是后续研究的基础，不过这两类模型并没有显式地把人类记忆特点对学习过程的影响考虑进去。第三类是深度知识追踪模型，其特点是使用深度神经网络来建模学生学习过程中的知识状态变化。深度知识追踪模型(DeepKnowledgeTracing，DKT)是第一个将循环神经网络(RecurrentNeuralNetwork，RNN)应用于知识追踪的模型，该模性取得了比以前模型更好的结果。对DKT进行改进，人们又提出了DKT的变体。有学者发现DKT中存在无法重建输入以及预测中知识状态向量(知识状态向量的概念由DKT提出，用于表示学生对各个技能的掌握程度)变化不稳定这两个问题，于是他们在DKT的损失函数中加入两个正则化项以解决这两个问题。就模拟人类记忆而言，DKT和它的变体都使用了RNN，从而能显式地模拟人类工作记忆。动态键值记忆网络(DynamicKey-ValueMemoryNetworks，DKVMN)首次将增强记忆神经网络(Memory-AugmentedNeuralNetworks，MANNs)应用于知识追踪，MANNs的特点是通过外部记忆矩阵来记忆更多信息。但是，前两类模型没有直接模拟人类记忆，人类记忆模型(Atkinson-Shiffrinmemorymodel,ASMM)，ASMM中把人类记忆分为三个部分，分别是感知记忆(Sensorymemory)，工作记忆(Workingmemory)和长期记忆(Long-termmemory)；第三类模型虽然在一定程度上模拟了人的工作记忆，不过它们都没有很好的模拟人类记忆，特别是人类记忆中的长期记忆，而长期记忆对学生的学习过程影响有较大影响。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供的基于层次记忆网络的知识追踪系统和方法，通过在现有的知识追踪系统中加入了层次记忆矩阵组件，并在层次记忆矩阵组件中设置工作存储单元和长期存储单元，从而模拟人类的短期记忆存储和长期记忆存储，并用分割模块将输入的信息分为工作记忆信息和长期记忆信息分割后存入到工作存储单元和长期存储单元中，再利用衰减模块对存入到长期存储单元的信息做衰减处理后存入，本专利技术通过对人类的记忆模式的模拟，使得对知识追踪的预测更加准确，本系统的训练速度更快，泛化能力也更强。为了实现上述目的，本专利技术提供基于层次记忆网络的知识追踪系统，包括用于输入知识信息和输出预测信息的控制器组件，还包括层次记忆组件、读头和写头组件；所述读头和写头组件设置在所述控制器组件和所述层记忆组件之间，所述读头和写头组件用于将所述控制器组件处理后的输入信息写入到所述层次记忆组件存储更新，并从所述层次记忆组件中读取更新后的知识信息；所述层次记忆组件包括工作存储单元、长期存储单元、分割模块和衰减模块，所述分割模块用于将输入的信息分为工作记忆信息和长期记忆信息分别存入到工作存储单元和长期存储单元，所述衰减模块用于将存入长期存储单元的长期记忆信息进行衰减后存入到长期存储单元，用于模拟人的记忆模式对知识信息进行存储。进一步地，所述层次记忆矩阵包括若干个呈矩阵排列的用于存储信息的插槽，其中部分插槽置于所述工作存储单元内，剩余的插槽置于所述长期存储单元内。进一步地，所述衰减模块与所述工作存储单元和所述长期存储单元的插槽连接，用于将信息赋予衰减率后写入到插槽中。进一步地，所述控制器组件包括强化输入模块，所述强化输入模块用于强化测评数据和反馈数据的编码。进一步地，还包括记录使用位置和使用顺序组件，用于记录层次记忆矩阵中每个插槽的使用情况和每个插槽的使用顺序。本专利技术还提供另外一种方案，基于层次记忆网络的知识追踪方法，包括如下步骤：S1输入知识信息序列，并对其进行编码；S2强化测评数据编码和反馈数据编码，使得二者更好区分；S3利用神经网络处理输入的信息，并将知识分为工作记忆和长期记忆写入层次记忆矩阵，并不断利用输入信息对层次记忆矩阵进行存储和更新；S4从层次记忆矩阵读取信息作为已知的知识信息，与输入的下一步的题目信息做点积运算得出下一步题目正确率的预测结果。进一步地，步骤S3具体包括：S31利用输入的信息对层次记忆矩阵进行写入式更新，并对输入的信息按照工作记忆和长期记忆进行分割，将工作记忆直接进行存储，将长期记忆以衰减的方式进行存储；S32从层次记忆矩阵中提取已知的知识信息。进一步地，步骤S31中，输入信息的写入其主要根据基于内容的注意力机制和基于使用位置的注意力机制进行信息的写入，基于内容的注意力机制为写头通过对比所述控制器组件的输出信息和所述层次记忆矩阵中每个插槽存储的信息，来决定向每个插槽写入多少信息，基于使用位置的注意力机制为根据位置是否存有信息来决定是否向该位置写入信息。进一步地，步骤S31中，分割主要的步骤包括引入距离向量衡量两个时间步之间的信息差异，计算累积的信息差异向量，以超参数为阈值与累积的进行比对，超过阈值的存入到长期存储单元，未超过阈值的存入到工作存储单元。进一步地，步骤S31中，衰减的方式写入具体包括引入衰减向量衰减向量decayt用于为记忆矩阵的每个插槽设置写入时的衰减率：其中，cumsum(·)是累加函数，softmax(·)是softmax函数，代表逐元素积，dt代表由LSTM神经网络生成的第t个时间步的衰减系数向量，阈值∈是趋于0的正常数。根据衰减向量decayt，我们将Mt-1更新为Mt：其中，运算符代表逐元素积，E是全1矩阵，是基于注意力机制的写入权重向量，是擦除向量的转置，是写入向量，decayt是衰减向量。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：(1)本专利技术的基于层次记忆网络的知识追踪系统和方法，通过在现有的知识追踪系统中加入了层次记忆矩阵组件，并在层次记忆矩阵组件中设置工作存储单元和长期存储单元，从而模拟人类的短期记忆存储和长期记忆存储，并用分割模块将输入的信息分为工作记忆信息和长期记忆信息分割后存入到工作存储单元和长期存储单元中，再利用衰减模块对存入到长期存储单元的信息做衰减处理后存入，本专利技术通过对人类的记忆模式的模拟，使得对知识追踪的本文档来自技高网...

【技术保护点】
1.基于层次记忆网络的知识追踪系统，包括用于输入知识信息和输出预测信息的控制器组件，其特征在于，还包括层次记忆矩阵组件、读头和写头组件；/n所述读头和写头组件设置在所述控制器组件和所述层记忆组件之间，所述读头和写头组件用于将所述控制器组件处理后的输入信息写入到所述层次记忆矩阵组件存储更新，并从所述层次记忆矩阵组件中读取更新后的知识信息；/n所述层次记忆矩阵组件包括工作存储单元、长期存储单元、分割模块和衰减模块，所述分割模块用于将输入的信息分为工作记忆信息和长期记忆信息分别存入到工作存储单元和长期存储单元，所述衰减模块用于将存入长期存储单元的长期记忆信息进行衰减后存入到长期存储单元，用于模拟人的记忆模式对知识信息进行存储。/n

【技术特征摘要】
1.基于层次记忆网络的知识追踪系统，包括用于输入知识信息和输出预测信息的控制器组件，其特征在于，还包括层次记忆矩阵组件、读头和写头组件；
所述读头和写头组件设置在所述控制器组件和所述层记忆组件之间，所述读头和写头组件用于将所述控制器组件处理后的输入信息写入到所述层次记忆矩阵组件存储更新，并从所述层次记忆矩阵组件中读取更新后的知识信息；
所述层次记忆矩阵组件包括工作存储单元、长期存储单元、分割模块和衰减模块，所述分割模块用于将输入的信息分为工作记忆信息和长期记忆信息分别存入到工作存储单元和长期存储单元，所述衰减模块用于将存入长期存储单元的长期记忆信息进行衰减后存入到长期存储单元，用于模拟人的记忆模式对知识信息进行存储。


2.根据权利要求1所述的基于层次记忆网络的知识追踪系统，其特征在于，所述层次记忆矩阵包括若干个呈矩阵排列的用于存储信息的插槽，其中部分插槽置于所述工作存储单元内，剩余的插槽置于所述长期存储单元内。


3.根据权利要求1所述的基于层次记忆网络的知识追踪系统，其特征在于，所述衰减模块与所述工作存储单元和所述长期存储单元的插槽连接，用于将信息赋予衰减率后写入到插槽中。


4.根据权利要求1所述的基于层次记忆网络的知识追踪系统，其特征在于，所述控制器组件包括强化输入模块，所述强化输入模块用于强化测评数据和反馈数据的编码。


5.根据权利要求1所述的基于层次记忆网络的知识追踪系统，其特征在于，还包括记录使用位置和使用顺序组件，用于记录层次记忆矩阵中每个插槽的使用情况和每个插槽的使用顺序。


6.如权利要求1～5中任一项所述的基于层次记忆网络的知识追踪方法，其特征在于，包括如下步骤：
S1输入知识信息序列，并对其进行编码；
S2强化测评数据编码和反馈数据编码，使得二者更好区分；
S3利用神经网络处理输入的信息，并将知识分为工作记忆和长期记忆写入层次记忆矩阵，并不断利用输入信息对层次记忆矩阵进行存储和更新；

【专利技术属性】
技术研发人员：刘三女牙，邹睿，蒋路路，孙建文，张凯，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42