面向教育测量的客观试题属性模式估计与校正方法及系统技术方案

本发明专利技术属于教育测量及教育数据挖掘技术领域，公开了一种面向教育测量的客观试题属性模式估计与校正方法及系统，训练出监督度量学习的度量矩阵M1，使用该矩阵初步挖掘所有学习者的知识掌握情况；取部分数据作为训练集，训练出监督度量学习的度量矩阵M2，对新一道客观试题的属性模式进行估计，而后将该试题作为已知试题加入到基础客观试题中，直至估计出所有试题的属性模式；试题估计完毕后，选取一道试题进行属性模式校正，利用校正的客观试题属性模式挖掘所有学习者的知识掌握情况即学习者属性模式。本发明专利技术帮助教学人员更客观而详尽地分析试题组成，提高测试效度与信度，为学习者调整学习计划或采取针对性的补救措施提供依据。

【技术实现步骤摘要】
面向教育测量的客观试题属性模式估计与校正方法及系统
本专利技术属于教育测量及教育数据挖掘
，尤其涉及一种面向教育测量的客观试题属性模式估计与校正方法及系统。
技术介绍
目前，最接近的现有技术：随着认知心理学、心理测量学和计算机技术的迅速发展，认知诊断理论从微观认知角度出发，可以在教育与心理测量领域中对学习者作出准确评估与反馈，这一优势展现了认知诊断理论巨大的发展潜力。其中，对测验项目与认知属性之间关系的描述称为测验Q矩阵，它是从微观认知角度出发，实现对学习者做出准确评估与反馈这一优势的理论基础。但是，这种优势的充分发挥取决于所构建的测验Q矩阵的合理性。以往的许多研究中，均假设所构建的Q矩阵是正确的，并在此基础上进行诊断分类。但事实并非如此，对于一个高质量的认知诊断测验，构建一个准确无误的测验Q矩阵是十分重要的。由于学习者在客观试题上的作答结果只有对错之分，故针对客观试题的Q矩阵标注方法较多，一般有三种思路：试题的简单检查法、多评分者法和基于试题参数的迭代估计法。试题的简单检查法和多评分者法由于采用专家意见对测验Q矩阵进行确定，因而其结果带有一定的主观性。基于试题参数的迭代估计法是一种在模型拟合的前提下结合试题参数对Q矩阵进行精炼提纯的方法，由于其建立在试题参数的基础上而不是单纯依赖专家界定，该方法得出的Q矩阵较前两种方法具有一定的客观性。但是，多数情况下由错误界定的Q矩阵所得到的试题参数误差较大，这严重影响了以该试题参数为基础的Q矩阵估计结果的准确性。此外，错误界定的Q矩阵对模型拟合也比较敏感。因此，基于试题参数的迭代估计法所得到的测验Q矩阵也比较粗糙，很难应用于其他模型。对于一个高质量的认知诊断测验而言，正确界定Q矩阵显得非常重要，而当前依据专家判定和基于试题参数的选代估计法所构建的测验Q矩阵又很难确保其正确性。基于学习者的作答反应数据方法中，非参数估计法可以拓展到任意一种应用学习者属性掌握模式和测验Q矩阵的认知诊断测验中，这大大提升了该方法的模型适用性。此外，该方法较少受Q矩阵错误率和误设类型的影响，提高了其在不同误设条件下的应用能力。当然，该方法也有其不足之处：第一，由于该方法建立在非参数判别分类的基础上，其最大的不足就是该方法不能识别属性个数出现错误设定的情况(也就是说属性个数不确定的情况)；第二，虽然不同的诊断模型对该方法的结果没有影响，但是该方法不能对错误设定的认知诊断模型进行识别，也就是说虽然该方法可以适用于所有认知诊断模型但要以模型-数据拟合为前提；参数估计法建立在所有试题的猜测参数是已知的和Q矩阵必须是一个完整的Q矩阵这两个前提上，如果违反这两个前提假设将会导致估计的Q矩阵无法识别；基于海明距离的Q矩阵估计方法，根据已知Q矩阵的客观试题使用海明距离来估计学习者的掌握模式，若出现学习者在两种掌握模式上的海明距离均为最小值时，采用随机的方法进行分类，由此得到学习者的掌握模式，进而估计客观试题属性模式。该方法不需要较为复杂的计算，不需要进行参数估计，不会受到数据和模型之间不拟合造成的参数估计异常的影响，但该方法在学习者知识掌握模式的判断中存在随机分类的操作，在一定程度上造成分类不准确的情况。综上所述，现有技术存在的问题是：(1)现有技术中，依赖专家标记Q矩阵具有较大的主观性，在部分复杂试题上，不同专家标记的客观试题属性模式差异较大，使得后续挖掘结果数据信息不准确，进而影响整个认知诊断和数据挖掘过程。(2)现有技术中，基于试题参数的估计方法依赖试题参数，虽不是单纯的依靠专家界定，但需要以模型-数据拟合为前提，界定的Q矩阵误差较大，从而影响后续的试题参数挖掘与学习者属性模式挖掘，且基于试题参数的估计方法包含较强的数理分析，导致估计步骤复杂难懂，严重阻碍该方法的拓展应用，难以用于其他模型。(3)现有技术中，非参数估计方法在属性模式相似度及学习者属性模式相似度计算时，对于导致相同最小距离的客观试题属性模式或学习者属性模式取舍，采用随机选择的方式，没有较为合理的判断依据，无法给出作出此种分类的合理解释，挖掘结果数据较为粗糙，容易造成模式分类失误。(4)现有技术准确度差、适用性差、可解释性不强等问题导致对客观试题属性模式估计并未真正发挥其提升学习效果的关键性作用。解决上述技术问题的难度：(1)如何减少人工进行客观试题属性估计时，主观性过高的问题，同时减少人工劳动，实现客观试题属性模式自动估计与校正。(2)如何增强客观试题属性模式估计方法的适用性，减少对于试题参数或其他客观条件的依赖，提高在不同误设条件下的应用能力。(3)如何准确判断客观试题的属性模式，并对挖掘结果的准确性作出充分、合理的解释。解决上述技术问题的意义：本专利技术是面向教育测量的客观试题属性模式估计与校正方法，利用学习者实际作答数据与已知其知识考查情况的基础客观试题数据，将部分已知其知识掌握情况的学习者的作答数据作为训练集，训练出监督度量学习的度量矩阵M1，使用该矩阵初步挖掘所有学习者的知识掌握情况；然后利用已挖掘出的学习者知识掌握情况与学习者实际作答数据，取部分数据作为训练集，训练出监督度量学习的度量矩阵M2，以此对新一道客观试题的属性模式进行估计，而后将该试题作为已知试题加入到基础客观试题中，重复上述步骤，直至估计出所有试题的属性模式；试题估计完毕后，选取一道试题进行属性模式校正，此时将其余所有试题作为基础客观试题数据，重复估计步骤，以完成对所有客观试题的校正；最后利用校正的客观试题属性模式挖掘所有学习者的知识掌握情况即学习者属性模式，并利用相关评价指标评价客观试题模式估计的准确度与学习者属性模式估计的准确度。本专利技术实现了客观试题属性模式的自动估计与校正，只需要人工估计极小部分试题，便可利用该方法实现所有客观试题的自动估计，极大地减少了人工劳动，同时也极大地减少了人为的主观性对试题知识点标记的影响，有效提高客观试题属性模式估计的准确性，为后续的认知诊断与数据挖掘提供准确的输入信息。本专利技术在客观试题属性模式估计及校正过程中引入监督度量学习的方法，在进行客观试题属性模式判断时依据马氏距离进行决策，使得挖掘结果更加准确，同时为挖掘结果提供科学的、具有较强解释性的支撑信息，方便对试题亦或测验进行改进，提高测试准确性与可信度。本专利技术根据已估计并校正的客观试题属性模式，进一步挖掘得到学习者知识掌握情况，减少挖掘误差，有利于对学习者当前发展状况进行反馈并提供补救建议及措施从而有针对性的促进个体认知发展，提升学习者学习效果。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种面向教育测量的客观试题属性模式估计与校正方法及系统。本专利技术目的在于解决现有技术中，依赖专家标记Q矩阵具有较大的主观性，人工标记工作量大，准确性差；基于试题参数的估计方法依赖试题参数，而不是单纯的依靠专家界定，要以模型-数据拟合为前提，界定的Q矩阵误差较大，进而影响后续的试题参数挖掘，学习者属性模式挖掘不准确，难以用于其他模型，适用性差；非参数估计方法在客观试题属性模式相似度及学习者属性模式相似度计算时，对于导致本文档来自技高网...

【技术保护点】
1.一种面向教育测量的客观试题属性模式估计与校正方法，其特征在于，所述面向教育测量的客观试题属性模式估计与校正方法包括以下步骤：/n步骤一，利用学习者实际作答数据与已知知识考查情况的基础客观试题数据，将部分已知知识掌握情况的学习者的作答数据作为训练集，训练出监督度量学习的度量矩阵M1，使用所述矩阵M1初步挖掘所有学习者的知识掌握情况；/n步骤二，利用步骤一已挖掘出的学习者知识掌握情况与学习者实际作答数据，取部分数据作为训练集，训练出监督度量学习的度量矩阵M2，利用所述度量矩阵M2对新一道客观试题的属性模式进行估计，再将该试题作为已知试题加入到基础客观试题中，重复进行估计步骤和再将该试题作为已知试题加入到基础客观试题中步骤，直至估计出所有试题的知识考查情况；/n步骤三，试题估计完毕后，选取一道试题进行属性模式校正，将其余所有客观试题作为基础客观试题数据，重复步骤三中估计步骤，完成对所有客观试题的校正；/n步骤四，利用校正的试题属性模式挖掘所有学习者的属性模式，并利用相关评价指标评价客观试题模式估计的准确度与学习者属性模式估计的准确度。/n

【技术特征摘要】
1.一种面向教育测量的客观试题属性模式估计与校正方法，其特征在于，所述面向教育测量的客观试题属性模式估计与校正方法包括以下步骤：
步骤一，利用学习者实际作答数据与已知知识考查情况的基础客观试题数据，将部分已知知识掌握情况的学习者的作答数据作为训练集，训练出监督度量学习的度量矩阵M1，使用所述矩阵M1初步挖掘所有学习者的知识掌握情况；
步骤二，利用步骤一已挖掘出的学习者知识掌握情况与学习者实际作答数据，取部分数据作为训练集，训练出监督度量学习的度量矩阵M2，利用所述度量矩阵M2对新一道客观试题的属性模式进行估计，再将该试题作为已知试题加入到基础客观试题中，重复进行估计步骤和再将该试题作为已知试题加入到基础客观试题中步骤，直至估计出所有试题的知识考查情况；
步骤三，试题估计完毕后，选取一道试题进行属性模式校正，将其余所有客观试题作为基础客观试题数据，重复步骤三中估计步骤，完成对所有客观试题的校正；
步骤四，利用校正的试题属性模式挖掘所有学习者的属性模式，并利用相关评价指标评价客观试题模式估计的准确度与学习者属性模式估计的准确度。


2.如权利要求1所述的面向教育测量的客观试题属性模式估计与校正方法，其特征在于，步骤一进一步包括：步骤1.1：采集学习者作答数据与基础客观试题数据；
步骤1.2：产生所有可能的学习者理想掌握模式组合，共2K种，K为知识点总数；
步骤1.3：构建所有理想掌握模式在基础客观试题上的理想作答矩阵：



ηij_base表示学习者i在第j_base道试题上的理想作答情况，αik表示学习者i对知识点k的掌握情况，QJ_base.k表示已知的第j_base基础客观试题是否考查知识点k；
步骤1.4：根据已知的学习者实际作答数据与学习者掌握模式，取不低于5％且不高于20％的数据作为训练样本，样本坐标为每位学习者在基础客观试题上的作答情况，样本标记为学习者的知识掌握属性值，因此共有2K类标记；
步骤1.5：学习者i的知识掌握模式为(αi1,αi2,...,αiK)，该学习者在J_base道基础客观试题上的作答结果(Ri1,Ri2,...,RiJ_base)，则构建一个训练样本，样本坐标为(Ri1,Ri2,...,RiJ_base)，样本标记为"αi1αi2...αiK"，以此类推，取部分数据建立训练样本；
步骤1.6：输入训练样本，使用监督度量学习中的NCA方法进行距离度量学习；
步骤1.7：近邻分类器中，对于任意样本yj，对yi分类结果影响概率为



当i＝j时，δij得到最大值；yj对yi的影响随着距离的增大而减少，其中



步骤1.8：以留一法(LeaveOneOut，LOO)正确率的最大化为目标，则计算yi的留一法正确率，即它被自身之外的所有样本正确分类的概率为：



其中，μi表示与yi属于相同类别的样本的下标集合；则整个样本集上的留一法正确率为：



步骤1.9：考虑到M是半正定对称矩阵，则存在正交基e使得M＝eeT，则NCA的优化目标为：



求解上式得到最大化近邻分类器LOO正确率的距离度量矩阵M；
步骤1.10：若已知某些样本相似，某些样本不相似，则必连约束集合Α与勿连约束集合B，(yi,yj)∈Α表示yi与yj相似，(yi,yj)∈B表示yi与yj不相似，求解凸优化问题获得适当的距离度量矩阵M：



其中，约束M＞＝0表示矩阵M必须是半正定的，上式要求在不相似样本间的距离不小于1；
步骤1.11：则根据训练样本使用NCA方法学习得到距离度量矩阵M1；
步骤1.12：使用训练出的距离度量矩阵M1计算学习者的实际作答与基础客观试题上各属性模式下作答结果之间的距离：



ri表示待估计学习者在基础客观试题上的作答情况，rj表示学习者在每种理想掌握模式下在基础客观试题上的作答情况；
步骤1.13：构造学习者i在基础客观试题上的实际作答情况与各理想掌握模式在基础客观试题上的作答结果之间的距离候选集合Di＝{di1,di2,...,din}；
步骤1.14：将距离候选集合Di中最小值对应的学习者掌握模式α作为此时学习者i的知识掌握情况，即



以此类推初步估计所有学习者的知识掌握情况。


3.如权利要求1所述的面向教育测量的客观试题属性模式估计与校正方法，其特征在于，步骤二包括：步骤2.1：利用已挖掘出的学习者知识掌握情况，构建学习者在所有试题属性模式(共2K-1种)下的理想作答情况<...

【专利技术属性】
技术研发人员：王志锋，刘继斌，左明章，叶俊民，魏艳涛，童名文，罗恒，闵秋莎，田元，夏丹，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42