一种基于学习选题策略的计算机自适应测评方法技术

本发明专利技术公开了一种基于学习选题策略的计算机自适应测评方法，是通过Learning的方式来挖掘出学生与选题之间的关系，其步骤包括：1、训练认知诊断模型，获取初始化能力参数和题目参数，并构造深度神经网络的输入向量；2、构造深度神经网络结构，得到输入向量和输出选题概率的映射；3、进行深度神经网络的loss函数设计，更新深度神经网络的参数。本发明专利技术能挖掘学生能力和选择题目之间的潜在联系，从而达到选择最少的问题，就能准确地评估学生对所要求的学科/领域的掌握程度的目的，并提高选题的准确性。确性。确性。

【技术实现步骤摘要】
一种基于学习选题策略的计算机自适应测评方法


[0001]本专利技术涉及机器学习、人工智能和智能教育
，具体的说是一种基于学习选题策略的计算机自适应测评方法。

技术介绍

[0002]计算机自适应测评(CAT)指的是一种针对每个学生的个性化测试形式，基于学生上一题及之前测评题上的作答情况，自适应选择下一道测评习题，见图1中CAT框架所示，根据学生的作答情况(答对/答错)，通过认知诊断模型(CDM)诊断出学生的能力状态(θ)，再结合选题策略选择适合当前能力的题目(qt)，最终形成一套个性化测试题集。
[0003]传统的计算机自适应测评(CAT)，大多数算法都是特定于模型的，例如最大信息量(MFI)、基于KL的全局信息量的选题方法，这些算法是由专家根据不同的认知诊断模型的具体特点而专门设计的；与模型无关的自适应测评方法(MAAT),将底层认知诊断模型和选题策略松耦合，选题策略不是为特定的CDM进行设计，而是适用于所有的模型而提出的选题策略，但是并没有考虑学生行为数据内部存在的一些联系，难以捕捉学生和选择题目之间的潜在联系。

技术实现思路

[0004]本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于学习选题策略的计算机自适应测评方法，以期能通过Learning的方式能够在大量的学生行为数据中挖掘学生能力和选择题目之间的潜在联系，从而达到选择最少的问题，就能准确地判断学生对所要求的学科/领域的掌握程度的目的，并提高预测准确性。
[0005]本专利技术为达到上述专利技术目的，采用如下技术方案：
[0006]本专利技术一种基于学习选题策略的计算机自适应测评方法的特点是按如下步骤进行：
[0007]步骤1、假设有N个学生和M道题目，分别记为S＝{s1,s2,
…
,s
i
,
…
,s
N
}，E＝{e1,e2,
…
,e
j
,
…
e
M
}；其中，s
i
表示第i个学生，e
j
表示第j个题目；将第i个学生s
i
对第j个题目e
j
作答后的答题日志记为三元组R
ij
＝{s
i
,e
j
,r
ij
}，其中，r
ij
表示第i个学生s
i
对第j个题目e
j
的答案，若r
ij
＝1，表示答案正确，若r
ij
＝0，表示答案错误；从而得到所有学生的答题日志并划分为训练集Tra和验证集Val；
[0008]步骤2、训练认知诊断模型，并获得初始化能力参数；
[0009]利用式(1)构建认知诊断模型：
[0010][0011]式(1)中，P(R＝1)表示正确作答的概率，若P(R＝1)>0.5，则令模型的预测值Pr＝1，若P(R＝1)<0.5，则令模型的预测值Pr＝0，α代表区分度，且α＝{α1,α2,
…
,α
j
,
…
α
M
}，β代表题目的难度,且β＝{β1,β2,...,β
j
,...,β
M
},θ代表学生的能力；且θ＝{θ1,θ2,...,θ
i
,...,
θ
N
}，α
j
表示第j个题目e
j
的区分度，β
j
表示第j个题目e
j
的区分度，θ
i
表示第i个学生s
i
的能力；
[0012]基于训练集Tra对所述认知诊断模型进行训练，并计算模型的交叉熵损失，用于更新模型的参数，再用验证集Val来验证模型的ACC指标，直到ACC指标达到阈值为止，从而得到训练后的认知诊断模型，并保存最优区分度α*和最优题目难度β*；
[0013]步骤3、将训练集Tra按照学生编号进行整理合并，即将同一学生的答题日志合并为一个集合；其中，第i个学生s
i
的k条答题日志构成的集合记为R
i
＝[{s
i
,e1,r
i1
}...{s
i
,e
k
,r
ik
}],并将集合R
i
划分为支持集Su
i
和查询集Qu
i
；
[0014]步骤4、构建深度神经网络的结构；
[0015]步骤4.1构造深度神经网络的输入向量；
[0016]将第i个学生的能力θ
i
、第u个题目e
u
的最优区分度α
u
*、最优题目难度β
u
*拼接成第i个学生的第u个输入向量x
iu
；从而得到第i个学生s
i
的g个输入向量X
i
＝{x
i1
,x
i2
,...,x
iu
,...,x
ig
}；其中，g代表所述支持集Su
i
中答题日志总数。
[0017]步骤4.2设定所述深度神经网络中隐含层的总层数为L；令当前隐含层为第L
H
层隐含层；
[0018]步骤4.3当L
H
＝1时，根据式(2)得到第L
H
层隐含层的输出向量
[0019][0020]式(2)中，为第L
H
层隐含层的参数；
[0021]步骤4.4当L
H
＝2,3,...,L
‑
1时，根据式(3)计算第L
H
层隐含层的输出当L
H
＝L时，根据式(4)计算第i个学生s
i
选择第u个题目e
u
的概率pred
iu
；
[0022][0023][0024]式(3)中，表示为第L
H
‑
1层隐含层的输出；
[0025]步骤4.5所述支持集Su
i
经过所述深度神经网络后输出第i个学生s
i
选择题目的概率集合Pred
i
＝{pred
i1
,pred
i2
,...,pred
iu
,
…
,pred
ig
}，其中，g代表所述支持集Su
i
中答题日志总数；pred
iu
表示第i个学生s
i
选择第u个题目e
u
的概率；
[0026]步骤5更新学生能力；
[0027]步骤5.1获取概率较大的题目；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于学习选题策略的计算机自适应测评方法，其特征是按如下步骤进行：步骤1、假设有N个学生和M道题目，分别记为S＝{s1,s2,
…
,s
i
,
…
,s
N
}，E＝{e1,e2,
…
,e
j
,
…
e
M
}；其中，s
i
表示第i个学生，e
j
表示第j个题目；将第i个学生s
i
对第j个题目e
j
作答后的答题日志记为三元组R
ij
＝{s
i
,e
j
,r
ij
}，其中，r
ij
表示第i个学生s
i
对第j个题目e
j
的答案，若r
ij
＝1，表示答案正确，若r
ij
＝0，表示答案错误；从而得到所有学生的答题日志并划分为训练集Tra和验证集Val；步骤2、训练认知诊断模型，并获得初始化能力参数；利用式(1)构建认知诊断模型：式(1)中，P(R＝1)表示正确作答的概率，若P(R＝1)>0.5，则令模型的预测值Pr＝1，若P(R＝1)<0.5，则令模型的预测值Pr＝0，α代表区分度，且α＝{α1,α2,
…
,α
j
,
…
α
M
}，β代表题目的难度,且β＝{β1,β2,...,β
j
,...,β
M
},θ代表学生的能力；且θ＝{θ1,θ2,...,θ
i
,
…
,θ
N
}，α
j
表示第j个题目e
j
的区分度，β
j
表示第j个题目e
j
的区分度，θ
i
表示第i个学生s
i
的能力；基于训练集Tra对所述认知诊断模型进行训练，并计算模型的交叉熵损失，用于更新模型的参数，再用验证集Val来验证模型的ACC指标，直到ACC指标达到阈值为止，从而得到训练后的认知诊断模型，并保存最优区分度α*和最优题目难度β*；步骤3、将训练集Tra按照学生编号进行整理合并，即将同一学生的答题日志合并为一个集合；其中，第i个学生s
i
的k条答题日志构成的集合记为R
i
＝[{s
i
,e1,r
i1
}...{s
i
,e
k
,r
ik
}],并将集合R
i
划分为支持集Su
i
和查询集Qu
i
；步骤4、构建深度神经网络的结构；步骤4.1构造深度神经网络的输入向量；将第i个学生的能力θ
i
、第u个题目e
u
的最优区分度α
u
*、最优题目难度β
u
*拼接成第i个学生的第u个输入向量x
iu
；从而得到第i个学生s
i
的g个输入向量X
i
＝{x
i1
,x
i2
,...,x
iu
,
…
,x
ig
}；其中，g代表所述支持集Su
i
中答题日志总数。步骤4.2设定所述深度神经网络中隐含层的总层数为L；令当前隐含层为第L
H
层隐含层；步骤4.3当L
H
＝1时，根据式(2)得到第L
H
层隐含层的输出向量层隐含层的输出向量式(2)中，为第L
H
层隐含层的参数；步骤4.4当L
H
＝2,3,
…
,L
‑
1时，根据式(3)计算第L
H
层隐含层的输出当L
H
＝L时，根据式(4)计算第i个学生s
i
选择第u个题目e
u
的概率pred
iu
；；式(3)中，表示为第L
H
‑
1层隐含层的输出；步骤4.5所述支持集Su
i
经过所述深度神经网络后输出第i个学生s
i
选择题目的概率集合Pred
i
＝{pred
i1
,pred
i2
,
…
,pred
iu
,...,pred
ig
}，其中，g代表所述支持集Su
i
中答题日志
总数；pred
iu
表示第i个学生s
i
选择第u个题目e
u
的概率；步骤5更新学生能力；步骤5.1获取概率较大的题目；根据所述概率集合Pred
i
进行降序排序，并无放回地从中选出最大概率pred
imax
，在所述支持集Su
i
中选择最大概率pred
imax
所对应的答题日志{s
i
,e
max
,r
imax
}；e
max
表示最大概率pred
imax
所对应的题目，r
imax
表示第i个学生s
i
对最大概率pred
imax
所对应的题目e
max
的答案；步骤5.2更新；固定认知诊断模型的最优区分度α*和最优题目难度β*，并基于所述答题日志{s
i
,e
max
,r
imax
}，利用交叉熵损失函数对认知诊断模型进行反向传播并更新能力θ
i
，从而获得更新后的能力步骤5.3查询集Qu
i
...

【专利技术属性】
技术研发人员：马海平，曾毅，张兴义，
申请(专利权)人：安徽大学，
类型：发明
国别省市：