一种基于权重衰减的注意力图的生成方法、装置以及设备制造方法及图纸

本说明书实施例公开了一种基于权重衰减的注意力图的生成方法、装置以及设备。通过确定所述知识点序列所对应的特征矩阵，所述特征矩阵包括键矩阵K、查询矩阵Q和值矩阵V；获取第i个知识点在所述查询矩阵Q中的特征值Q

【技术实现步骤摘要】
一种基于权重衰减的注意力图的生成方法、装置以及设备


[0001]本说明书涉及互联网
，尤其涉及一种基于权重衰减的注意力图的生成方法、装置以及设备。

技术介绍

[0002]在当前，在线学习已经成为学习者的主要学习方式。知识追踪模型作为在线学习的关键部分，主要通过跟踪学习者在学习过程中知识掌握程度的变化，来预测学习者在未来练习中的表现。传统的知识追踪模型，往往忽略了学习者在学习过程中可能的遗忘行为等方面的因素，也并不关注最近相关问题和其他问题之间的相关性，这导致在模型训练和预测时生成的注意力图难以准确捕捉得到相关特征。
[0003]基于此，需要一种在知识追踪模型中包含准确特征的注意力图的生成方案。

技术实现思路

[0004]本说明书实施例提供一种基于权重衰减的注意力图的生成方法、装置、设备以及存储介质，用以解决如下技术问题：需要一种在知识追踪模型中包含准确特征的注意力图的生成方案。
[0005]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
[0006]在第一方面，本说明书实施例提供一种基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于权重衰减的注意力图的生成方法，应用于包含知识点和时间的知识点序列中，所述方法包括：确定所述知识点序列所对应的特征矩阵，所述特征矩阵包括键矩阵K、查询矩阵Q和值矩阵V；获取第i个知识点在所述查询矩阵Q中的特征值Q
i
，以及，获取第j个知识点在所述键矩阵K中的特征值K
j
，其中，所述第j个知识点为与所述第i个知识点相关的前一个知识点；确定所述第i个知识点与所述第j个知识点的时间差Δ(t
i
,t
j
)，确定包含所述时间差和衰减参数θ的衰减函数γ(t
i
,t
j
,θ)，其中，所述θ为可学习的衰减参数；根据所述特征值Q
i
、特征值K
j
、所述衰减函数γ(t
i
,t
j
,θ)和所述值矩阵V生成注意力图。2.如权利1所述的方法，其中，根据所述特征值Q
i
、特征值K
j
、所述衰减函数γ(t
i
,t
j
,θ)和所述值矩阵V生成注意力图，包括：根据所述特征值Q
i
、特征值K
j
生成原始注意力分数s
i,j
；融合所述原始注意力分数s
i,j
和所述衰减函数γ(t
i
,t
j
,θ)生成新注意力分数s
i,j,γ
。3.如权利要求2所述的方法，其中，融合所述原始注意力分数s
i,j
和所述衰减函数γ(t
i
,t
j
,θ)生成新注意力分数s
i,j,γ
，包括：将所述原始注意力分数s
i,j
与所述衰减函数γ(t
i
,t
j
,θ)相乘生成新注意力分数s
i,j,γ
；或者，将所述原始注意力分数s
i,j
与所述衰减函数γ(t
i
,t
j
,θ)相减生成新注意力分数s
i,j,γ
。4.如权利要求1所述的方法，其中，确定包含所述时间差和衰减参数θ的衰减函数γ(t
i
,t
j
,θ)，包括：确定包含所述时间差和衰减参数θ的指数函数形式的衰减函数γ(t
i
,t
j
,θ)，其中，所述时间差和衰减参数θ为所述指数函数形式的衰减函数γ(t
i
,t
j
,θ)中的自变量；或者，确定包含所述时间差和衰减参数θ的幂函数形式的衰减函数γ(t
i
,t
j
,θ)，其中，所述时间差和衰减参数θ为所述幂函数形式的衰减函数γ(t
i
,t
j
,θ)中的自变量。5.如权利要求1所述的方法，其中，所...

【专利技术属性】
技术研发人员：苏伟，石君太，孙元涛，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：