一种基于分类神经网络的学生画像生成方法技术

本发明专利技术公开了一种基于分类神经网络的学生画像生成方法，其特点是采用基于分布式训练架构，对学生数据、题目数据进行分类，以并行的方式对不同类别模型进行训练和预测，对训练数据进行集中化处理，具体包括：1）利用可控的聚类算法把生成的嵌入向量作为训练数据进行无监督学习；2）每个设备针对不同类别的学生题目构建模型并分布式训练；3）最后根据接收的数据预测出学生的知识状态并进行可视化——构建学生画像。本发明专利技术与现有技术相比具有通过自动调节数据分布，使模型可以简单快速进行分布式部署，从而提高模型预测准确度，提升画像生成技术在在线学习系统中的高可用性，有效解决了数据分散可能导致精确度差的问题。数据分散可能导致精确度差的问题。数据分散可能导致精确度差的问题。

【技术实现步骤摘要】
一种基于分类神经网络的学生画像生成方法


[0001]本专利技术涉及神经网络和机器学习
，特别是一种基于分类神经网络的学生画像生成方法。

技术介绍

[0002]随着在线学习系统中学生学习记录数据量的剧增，基于神经网络的学生画像生成技术迅速发展，该类方法基于学生的历史学习数据，跟踪学生的学习进展，进而描绘出学生的知识掌握水平等。对于在线学习系统，画像生成需要满足高准确度的同时满足高实时性，以提升用户体验。如何更快、更精准的生成学生画像仍然是一个极具挑战的问题。
[0003]目前，基于深度神经网络的知识追踪技术取得了比传统BKT方法更好的预测性能，且能够更深层次的捕捉练习文本的时序特征和语义特征。因此，基于深度神经网络的技术被广泛研究讨论。大多数工作致力于通过提升预测学生答题对错的准确度来提升学生画像的准确度，如结合教育数据特征改进模型：Cheng等人在DKT中引入失误和猜测因子以更好的模拟学生的真实做题情况。Nagatani等人引入时间间隔来模拟学生的遗忘行为，研究时间间隔对预测准确率的影响；引入注意力机制：Su等人提出在模型预测输出时使用余弦相似度计算练习题目相似性，有效捕获了练习序列中的长期依赖关系；可解释性知识追踪：EKT将每个学生的知识状态向量扩展成一个随时间更新的知识状态矩阵，其中每个向量代表学生对某个概念的掌握程度，有效解决传统DKT难以确定学生擅长或不熟悉哪些概念问题。但是，目前的工作在准确度和训练效率方面仍然存在问题。1)大多数研究忽略了训练数据分散性对预测结果的负面影响，即将所有学生对所有题目的答题数据进行统一训练，这可能降低预测准确度。2)与此同时，随着数据量的剧增，深度学习框架的时效性不断下降。在真实的在线学习场景中，学生答题数据每日剧增，及时更新模型才能保证画像的准确度，为了使得该技术在真实在线学习系统中得以应用，提升模型的训练时效是极其重要的。目前的神经网络通过增加训练的数据维度和模型深度等方面进行优化，虽然提升了预测准确度，但极大增加了训练延迟，这降低了在真实场景的可应用性。
[0004]如今，云服务器成为主流的训练平台之一。在大多数基于深度学习的知识追踪技术中，一台处理器使用一个完整的数据集来训练模型。为了处理庞大的云端数据，网络传输延迟和训练延迟成为了主要的瓶颈。对于在线学习，实时性要求较高的场景，这种高延迟问题大大降低了学习者的学习进度，影响用户的体验。为了加速模型训练，分布式模型训练技术被广泛研究。然而分布式架构设计需要分析数据分布，开发人员在不知道数据具体分布的情况下，手动调整网络结构得到鲁棒性强的网络结构是非常低效的。

技术实现思路

[0005]本专利技术的目的是针对现有技术的不足而提出的一种基于分类神经网络的学生画像生成方法，采用基于分布式训练架构，对学生数据、题目数据进行分类，以并行的方式对不同类别模型进行训练和预测，对训练数据进行集中化处理，从而提高模型预测准确度，通
过自动调节数据分布，使模型可以简单快速进行分布式部署，进而使用分布式技术加速模型训练，提升画像生成技术在在线学习系统中的高可用性，有效解决了数据分散可能导致精确度差的问题。
[0006]本专利技术的目的是这样实现的：一种基于分类神经网络的学生画像生成方法，其特点是通过对学生数据、题目数据进行分类，基于分布式训练架构，以并行的方式对不同类别模型进行训练和预测，从而提高模型预测准确度，基于分类神经网络的学生画像高效生成的具体流程如下：
[0007]S100：参与知识追踪训练的K个设备将设备标识号以及本地数据的分布信息发送给中央服务器。
[0008]S200：使用一种数学模型来得到学生和题目的表现函数，生成学生和题目的嵌入式表示向量。
[0009]S300：中央服务器接收设备发送的信息，并为每个代理服务器统计数据分布，使用一种可控的分类算法，对S100生成的学生和题目的表示向量进行分类，使得等价类内的数据集整合起来后的知识点分布尽集中。
[0010]S400：中央服务器把分类后的学生和题目进行重映射并和初始化的神经网络模型的权重参数W0和b0一同发送给对应代理服务器。
[0011]S500：代理服务器之间并行训练模型，代理服务器内部设备同时利用中央服务器发送来的数据集训练模型，代理服务器会根据本组本轮训练得到的权重参数W
*
和b
*
发送给中央服务器，中央服务器会根据代理服务器发送来的权重参数W
*
和b
*
还原出知识追踪模型，并预测出该类学生的知识状态；与此同时，所有代理服务器将使用各自更新后的权重参数W
*
和b
*
继续训练。
[0012]S600：中央服务器通过联合平均算法更新学生的知识状态，并将更新后的知识状态进行可视化构造出学生的用户画像。
[0013]S700：重复上述步骤S500～S600，直至模型收敛结束训练，得到最终用户画像。
[0014]在步骤S100中，所述的设备标识号K发送给中央服务器是非常关键的一步，K的取值并不是随意的，K的大小与知识追踪预测准确度、用户画像个数有着密切的联系。假设用户画像个数为M，题目特征个数为N，则K＝M*N；
[0015]在步骤S200中，所述的数学模型由下述(a)、(b)式进行表示：
[0016][0017]Q＝DNN(L，N，
…
，Time)
ꢀꢀ
(b)
[0018]其中，X表示输入层向量，由文本信息T、知识点向量K和次要压缩向量拼接而成。其中次要压缩信息由难度、提示次数、训练时间等次要信息共同训练而成。
[0019]在步骤S300中，所述的分类算法采用K
‑
means，该算法是一种可控的聚类算法，由下述(c)、(d)式计算：
[0020][0021][0022]其中，c
(i)
和μ
j
分别表示学生i所属的类别和类j的质心。
[0023]在步骤S400中，所述的重映射技术中由下述(e)、(f)进行计算：
[0024][0025][0026]式中：Q为查询变量，通过该变量从所有K找到对于Query而言重要的信息；K为信息的地址指向Value；V为信息的内容。
[0027]上述(e)、(f)式是题目信息重映射的核心公式，也是Bert模型的核心公式，使用Bert模型进行重映射可以使用数字信息尽可能保留题目的文本信息。
[0028]在步骤S500中，所述的神经网络迭代和权重参数W
*
和b
*
的更新公式由下述(g)～(l)式表示：
[0029]f
t
＝σ(W
f
·
[h
t
‑1，x
t
]+b
f
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(g)；
[0030]i
t
＝本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分类神经网络的学生画像生成方法，其特征在于，该方法具体包括以下步骤：S100：参与知识追踪训练的K个设备将设备标识号、本地数据标签以及每种标签的数量的分布信息发至中央服务器；S200：中央服务器使用数学模型生成学生、题目嵌入向量；S300：中央服务器接收设备发送的信息，并为每个代理服务器统计数据分布，使用可控的分类方法对生成的学生和题目的嵌入向量进行分类，并对不同类别学生和题目进行模型构建，对数据进行可分布式部署；S400：中央服务器把分类后的学生、题目信息进行重映射，并和初始化的神经网络模型的权重参数W0和b0一同发送给对应的代理服务器；S500：各代理服务器利用中央服务器发送的数据集并行训练模型，代理服务器会更新本组本轮训练得到权重参数W
*
和b
*
，之后所有代理服务器将使用自行更新后的权重参数W
*
和b
*
继续训练，代理服务器训练过程中将权重参数W
*
和b
*
发送给中央服务器，中央服务器根据代理服务器发送来的权重参数W
*
和b
*
还原知识追踪模型，并预测出该类学生的知识状态；S600：中央服务器通过联合平均算法更新学生的知识状态，并将更新后的知识状态进行可视化构造出学生的用户画像；S700：重复上述步骤S500～S600，直至模型收敛结束训练，得到最终的学生画像。2.根据权利要求1所述的基于分类神经网络的学生画像生成方法，其特征在于，所述步骤S100中的K＝M*N，其中，M为用户画像的个数；N为题目特征的个数。3.根据上述权利要求1所述的基于分类神经网络的学生画像生成方法，其特征在于，所述步骤S200中的数学模型由下述(a)～(b)式计算：Q＝DNN(L,N,
…
，Time)
ꢀꢀꢀ
(b)；式中：X为输入层向量，且由文本信息T、知识点向量K和次要压缩信息的向量拼接而成；T为文本信息；K为知识点向量；Q为Q矩阵，表示题目和知识点关系；L为题目难度；N为学生答题平均提示次数；Time为学生答题平均做题时间；所述次要压缩信息由难度、提示次数和训练时间的次要信息共同训练压缩而成。4.根据权利要求1所述的基于分类神经网络的学生画像生成方法，其特征在于，所述步骤S300中可控的分类方法为下述(c)～(d)式表示的K
‑
means算法对生成的学生和题目的嵌入向量进行分类：C
(i)
:＝arg min
j
||x
(i)
‑
μ
j
||2ꢀꢀꢀꢀꢀ
(c)；式中：c
(i)
为学生i在k个类中距离最近的类；μ
j
为类j的质心；x
(i)
为学生i的n维向量。5.根据权利要求1所述的基于分类神经网络的学...

【专利技术属性】
技术研发人员：夏江华，诸葛晴凤，王寒，沙行勉，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：