主观题自动评分方法及系统技术方案

本发明专利技术要求保护主观题自动评分方法及系统。该方法包括：获取待评分答案集和标准答案；基于待评分答案集和标准答案，构成参考评分主观题答案集和自动评分答案集；其中，参考评分答案集包括：从待评分答案集中随机选出的n份主观题答案以及标准答案；自动评分答案集包括待评分答案集中去除n份主观题答案之后所剩余的主观题答案；获取得分集合，得分集合包括n份主观题答案经人工评分后得到的分值，以及，标准答案对应的分值；对于自动评分答案集中的任一份主观题答案，计算其与参考评分答案集中各主观题答案的相似度；对相似度进行降序排序，得到排序结果；使用排序结果和得分集合，对上述任一主观题答案进行自动评分，得到自动评分分值。分值。分值。

【技术实现步骤摘要】
主观题自动评分方法及系统


[0001]本专利技术涉及计算机领域，特别涉及一种主观题自动评分方法及系统。

技术介绍

[0002]主观题(含名词解释、简答和论述等)是指能够允许考生按照其对问题的理解程度，发挥其主观能动性对题目进行解答。通常题目主观题答案可包含若干要点，长度在几十到几百字不等。
[0003]考试中由考生作答给出的主观题答案(待评主观题答案)，需要人工或者由计算机按照给定方法进行自动评分。主观题评分是当前各类考试的阅卷工作中的难点问题，占据了大部分的阅卷时间，通过信息化手段实现主观题的自动评分是提高阅卷速度和效率的重要方式。

技术实现思路

[0004]有鉴于此，本专利技术实施例提供一种主观题自动评分方法及系统，以实现对主观题的自动评分。
[0005]为实现上述目的，本专利技术实施例提供如下技术方案：
[0006]一种主观题自动评分方法，包括：
[0007]获取待评分答案集和标准答案；所述待评分答案集包括至少一份待评分的主观题答案；
[0008]基于所述待评分答案集和所述标准答案，构成参考评分主观题答案集和自动评分答案集；其中，所述参考评分答案集包括：从所述待评分答案集中随机选出的n份主观题答案以及所述标准答案；n为正整数；所述自动评分答案集包括所述待评分答案集中去除所述n份主观题答案之后所剩余的主观题答案；
[0009]获取得分集合，所述得分集合包括所述n份主观题答案经人工评分后得到的分值，以及，所述标准答案对应的分值；
[0010]对于所述自动评分答案集中的任一份主观题答案，计算所述任一份主观题答案与参考评分答案集中各主观题答案的相似度；所述任一份主观题答案表示为主观题答案x；
[0011]对相似度进行降序排序，得到排序结果；
[0012]使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值。
[0013]可选的，所述使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值包括：
[0014]将排序结果中前r个位置在所述得分集合中对应的分值作为自动评分模型的输入，由所述自动评分模型对所述主观题答案x进行自动评分，得到自动评分分值；r为小于等于n的正整数。
[0015]可选的，所述自动评分模型根据如下公式计算所述主观题答案x的自动评分分值：
[0016][0017]其中，cx表示所述主观题答案x的自动评分分值，i表示所述前r个位置中的第i个位置，ci表示所述第i个位置在所述得分集合中所对应的分值，bi为第i个位置所对应的权重。
[0018]可选的，bi的默认取值为1/r。
[0019]可选的，还包括：随机抽取所述自动评分答案集中的m个主观题答案；获取所述m个主观题答案经人工复核后的人工复核分值；m为正整数；分别计算所述m个主观题答案的自动评分分值与人工复核分值之间的分值差；其中，分值差大于预设阈值的主观题答案为负样本；使用所述负样本的人工复核分值更新所述前r个位置所对应的权重。
[0020]可选的，所述负样本所对应的排序结果为目标排序结果；所述负样本对应的人工复核分值表示为f；所述使用所述负样本的人工复核分值更新所述前r个位置所对应的权重包括：执行至少一轮权重更新操作，直至满足更新停止条件；每一轮权重更新操作至少包括：在目标分值集合中确定第一目标分值和第二目标分值；所述目标分值集合包括：所述目标排序结果的前r个位置在所述得分集合中所对应的分值，所述目标分值集合中的各分值初始时被标记为有效；所述第一目标分值为与所述f差值最小且被标记为有效的分值，所述第二目标分值为与所述f差值最大且被标记为有效的分值；对所述第一目标分值和所述第二目标分值所对应的位置的权重分别进行更新；将所述第一目标分值和所述第二目标分值标记为无效；使用更新后的权重重新计算所述负样本的自动评分分值；重新计算得到的自动评分分值表示为f
’
；判断f与f
’
是否满足所述更新停止条件，若是，停止；若否，判断所述目标分值集合标记为有效的分值的数量是否不小于2；若否，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤；若否，将所述目标分值集合中的全部分值标记为有效，返回执行在目标分值集合中确定第一目标分值和第二目标分值的步骤。
[0021]可选的，所述第一目标分值所对应位置表示为abb
min
，更新前所对应权重表示为b
min
；所述第二目标分值所对应位置表示为abb
max
，更新前所对应权重表示为b
max
；所述对所述第一目标分值和所述第二目标分值所对应的位置的权重分别进行更新包括：将a*b
min
与b*b
max
的和值作为位置abb
min
上更新后的权重；将c*bmax作为位置上abb
max
更新后的权重；a、b、c为更新系数。
[0022]一种主观题自动评分系统，包括：
[0023]获取单元，用于：
[0024]获取待评分答案集和标准答案；所述待评分答案集包括至少一份待评分的主观题答案；
[0025]基于所述待评分答案集和所述标准答案，构成参考评分主观题答案集和自动评分答案集；其中，所述参考评分答案集包括：从所述待评分答案集中随机选出的n份主观题答案以及所述标准答案；n为正整数；所述自动评分答案集包括所述待评分答案集中去除所述n份主观题答案之后所剩余的主观题答案；
[0026]获取得分集合，所述得分集合包括所述n份主观题答案经人工评分后得到的分值，以及，所述标准答案对应的分值；
[0027]相似度计算系统，用于：
[0028]对于所述自动评分答案集中的任一份主观题答案，计算所述任一份主观题答案与参考评分答案集中各主观题答案的相似度；所述任一份主观题答案表示为主观题答案x；
[0029]对相似度进行降序排序，得到排序结果；
[0030]自动评分系统，用于：使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值。
[0031]可选的，所述自动评分系统包括：自动评分模型，用于：以排序结果中前r个位置在所述得分集合中对应的分值作为输入，对所述主观题答案x进行自动评分，得到自动评分分值；r为小于等于n的正整数。
[0032]可选的，所述自动评分模型根据如下公式计算所述主观题答案x的自动评分分值：
[0033][0034]其中，cx表示所述主观题答案x的自动评分分值，i表示所述前r个位置中的第i个位置，ci表示所述第i个位置在所述得分集合中所对应的分值，bi为第i个位置所对应的权重。
[0035]可选的，还包括：更新系统，用于：随机抽取所述自动评分答案集中的m个主观题答案；获取所述m个主观题答案经人工复核后的人工复核分值；m为正整数；分别计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种主观题自动评分方法，其特征在于，包括：获取待评分答案集和标准答案；所述待评分答案集包括至少一份待评分的主观题答案；基于所述待评分答案集和所述标准答案，构成参考评分主观题答案集和自动评分答案集；其中，所述参考评分答案集包括：从所述待评分答案集中随机选出的n份主观题答案以及所述标准答案；n为正整数；所述自动评分答案集包括所述待评分答案集中去除所述n份主观题答案之后所剩余的主观题答案；获取得分集合，所述得分集合包括所述n份主观题答案经人工评分后得到的分值，以及，所述标准答案对应的分值；对于所述自动评分答案集中的任一份主观题答案，计算所述任一份主观题答案与参考评分答案集中各主观题答案的相似度；所述任一份主观题答案表示为主观题答案x；对相似度进行降序排序，得到排序结果；使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值。2.如权利要求1所述的方法，其特征在于，所述使用所述排序结果和所述得分集合，对所述主观题答案x进行自动评分，得到所述主观题答案x的自动评分分值包括：将排序结果中前r个位置在所述得分集合中对应的分值作为自动评分模型的输入，由所述自动评分模型对所述主观题答案x进行自动评分，得到自动评分分值；r为小于等于n的正整数。3.如权利要求2所述的方法，其特征在于，所述自动评分模型根据如下公式计算所述主观题答案x的自动评分分值：其中，cx表示所述主观题答案x的自动评分分值，i表示所述前r个位置中的第i个位置，ci表示所述第i个位置在所述得分集合中所对应的分值，bi为第i个位置所对应的权重。4.如权利要求3所述的方法，其特征在于，还包括：随机抽取所述自动评分答案集中的m个主观题答案；获取所述m个主观题答案经人工复核后的人工复核分值；m为正整数；分别计算所述m个主观题答案的自动评分分值与人工复核分值之间的分值差；其中，分值差大于预设阈值的主观题答案为负样本；使用所述负样本的人工复核分值更新所述前r个位置所对应的权重。5.如权利要求4所述的方法，其特征在于，所述负样本所对应的排序结果为目标排序结果；所述负样本对应的人工复核分值表示为f；所述使用所述负样本的人工复核分值更新所述前r个位置所对应的权重包括：执行至少一轮权重更新操作，直至满足更新停止条件；每一轮权重更新操作至少包括：在目标分值集合中确定第一目标分值和第二目标分值；所述目标分值集合包括：所述
目标排序结果的前r个位置在所述得分集合中所对应的分值，所述目标分值集合中的各分值初始时被标记为有效；所述第一目标分值为与所述f差值最小且被标记为有效的分值，所述第二目标分值为与所述f差值最大且被标记为有效的分值；对所述第一目标分值和所述第二目标分值所对应的位置的权重分别进行更新；将所述第一目标分值和所述第二目标分值标记为无效；使用更新后的权重重新计算所述负样本的自动评分分值；重新计算得到的自动评分分值表示为f
’
；判断f与f
’
是否满足所述更新停止条件，若是，停止；若否...

【专利技术属性】
技术研发人员：董黎明，李仁传，冯斌，江凌，王洪大，
申请(专利权)人：董黎明，
类型：发明
国别省市：