开放式试题答案评分方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了开放式试题答案评分方法、装置、设备及存储介质。该方法包括：获取目标试题以及目标答案，分别对目标试题以及目标答案进行词句特征提取处理，得到试题特征集和答案特征集；对试题特征集和答案特征集进行相似度衡量，得到语义相似度和字符相似度；采用预先训练好的目标意图解析模型，确定试题特征集的试题意图向量，以及答案特征集的答案意图向量；根据语义相似度、字符相似度、试题意图向量和答案意图向量，结合预先训练好的目标评分模型，确定目标答案的答案得分。本发明专利技术提供的开放式试题答案评分方法可集成于智能设备中，用户可以使用该智能设备对开放式试题的答案进行快速准确评分，提高阅卷效率，在智能教育领域有突破性的改进。域有突破性的改进。域有突破性的改进。

【技术实现步骤摘要】
开放式试题答案评分方法、装置、设备及存储介质


[0001]本专利技术实施例涉及智能教育
，尤其涉及一种开放式试题答案评分方法、装置、设备及存储介质。

技术介绍

[0002]在日常教学及考试中，存在大量的开放式问答题目，比如段落赏析、概括文章大意等等。目前开放式答案的批改工作主要依靠教学专家人工进行，效率极低，并且不同评分者的主观因素可能导致打分不公平的现象。现有的开放式试题打分模型也只能对答案进行简单的文字识别与逻辑判断，无法准确判断答案是否符合题意，打分的准确性不高。

技术实现思路

[0003]本专利技术提供一种开放式试题答案评分方法、装置、设备及存储介质，以实现对开放式试题的答案进行快速准确评分。
[0004]第一方面，本专利技术实施例提供了一种开放式试题答案评分方法，包括：
[0005]获取目标试题以及目标答案，分别对所述目标试题以及所述目标答案进行词句特征提取处理，得到试题特征集和答案特征集；
[0006]对所述试题特征集和所述答案特征集进行相似度衡量，得到语义相似度和字符相似度；
[0007]采用预先训练好的目标意图解析模型，确定所述试题特征集的试题意图向量，以及所述答案特征集的答案意图向量；
[0008]根据所述语义相似度、所述字符相似度、所述试题意图向量和所述答案意图向量，结合预先训练好的目标评分模型，确定所述目标答案的答案得分。
[0009]可选的，所述分别对所述目标试题以及所述目标答案进行词句特征提取处理，得到试题特征集和答案特征集，包括：
[0010]分别对所述目标试题和所述目标答案进行句嵌入操作，得到试题句嵌入向量和答案句嵌入向量；
[0011]对所述目标试题进行分词操作，得到试题中文分词集和试题英文分词集，对所述试题中文分词集中的试题中文分词进行词嵌入操作，得到试题词嵌入序列；
[0012]对所述目标答案进行分词操作，得到答案中文分词集和答案英文分词集，对所述答案中文分词集中的答案中文分词进行词嵌入操作，得到答案词嵌入序列；
[0013]将所述试题句嵌入向量、试题词嵌入序列、试题中文分词集和试题英文分词集构成试题特征集，将所述答案句嵌入向量、答案词嵌入序列、答案中文分词集和答案英文分词集构成答案特征集。
[0014]可选的，所述对所述试题特征集和所述答案特征集进行相似度衡量，得到语义相似度和字符相似度，包括：
[0015]根据所述试题句嵌入向量和所述答案句嵌入向量，确定语义相似度；
[0016]对所述试题中文分词集和所述答案中文分词集进行中文字符相似度衡量，得到中文字符相似度，对所述试题英文分词集和所述答案英文分词集进行英文字符相似度衡量，得到英文字符相似度；
[0017]根据所述中文字符相似度和所述英文字符相似度，确定所述字符相似度。
[0018]可选的，所述采用预先训练好的目标意图解析模型，确定所述试题特征集的试题意图向量，以及所述答案特征集的答案意图向量，包括：
[0019]运用目标意图解析模型中的目标试题意图解析网络对所述试题词嵌入序列进行意图解析，得到试题意图向量；
[0020]运用目标意图解析模型中的目标答案意图解析网络对所述答案词嵌入序列进行意图解析，得到答案意图向量。
[0021]可选的，所述目标意图解析模型的训练过程包括：
[0022]构建包含试题意图解析网络、答案意图解析网络和意图分类器的待训练意图解析模型，并将所述意图分类器的意图类别个数初始化为预设类别数量；
[0023]基于训练词嵌入数据对所述待训练意图解析模型进行训练，更新所述待训练意图解析模型的模型参数；
[0024]基于测试词嵌入数据对更新后的待训练意图解析模型进行测试，并调整所述意图分类器的意图类别个数；
[0025]返回重新对所述待训练意图解析模型进行训练及测试，并确定所述意图类别个数的调整趋势，当所述调整趋势满足调整稳定条件时，将最后一次更新的待训练意图解析模型确定为目标意图解析模型。
[0026]可选的，所述基于训练词嵌入数据对所述待训练意图解析模型进行训练，更新所述待训练意图解析模型的模型参数，包括：
[0027]获取预设训练数量组训练词嵌入数据，将各所述训练词嵌入数据输入所述待训练意图解析模型进行训练，更新所述待训练意图解析模型的模型参数，其中，所述训练词嵌入数据包括训练试题词嵌入序列和训练答案词嵌入序列；
[0028]返回重新获取预设训练数量组训练词嵌入数据，并更新所述模型参数的操作，直至更新次数达到预设更新次数。
[0029]可选的，所述将各所述训练词嵌入数据输入所述待训练意图解析模型进行训练，更新所述待训练意图解析模型的模型参数，包括：
[0030]针对每组训练词嵌入数据，利用所述试题意图解析网络确定所述训练试题词嵌入序列的训练试题意图向量，利用所述答案意图解析网络确定所述训练答案词嵌入序列的训练答案意图向量，根据意图分类器对所述训练试题意图向量和所述训练答案意图向量进行意图分类，得到训练试题意图类型和训练答案意图类型；
[0031]根据各所述训练试题意图类型和对应的训练答案意图类型，获得意图拟合损失函数；
[0032]通过所述意图拟合损失函数对所述待训练意图解析模型进行反向传播，更新所述待训练意图解析模型的模型参数。
[0033]可选的，所述基于测试词嵌入数据对更新后的待训练意图解析模型进行测试，并调整所述意图分类器的意图类别个数，包括：
[0034]获取预设测试数量组测试词嵌入数据，将各所述测试词嵌入数据输入更新后的待训练意图解析模型，其中，所述测试词嵌入数据包括测试试题词嵌入序列和测试答案词嵌入序列；
[0035]针对每组测试词嵌入数据，利用所述试题意图解析网络确定所述测试试题词嵌入序列的测试试题意图向量，利用所述答案意图解析网络确定所述测试答案词嵌入序列的测试答案意图向量；
[0036]根据各所述测试试题意图向量和对应测试答案意图向量的欧氏距离，确定向量距离分布情况；
[0037]当所述向量距离分布情况满足预设分布条件时，将所述意图分类器的意图类别个数减一；否则，将所述意图分类器的意图类别个数加一。
[0038]可选的，所述目标评分模型的训练过程包括：
[0039]对训练特征组合数据进行评分标注，得到训练特征组合数据对应的标准得分，其中，所述训练特征组合数据包括标准语义相似度、标准字符相似度、标准试题意图向量和标准答案意图向量；
[0040]将所述训练特征组合数据输入待训练评分模型，获得输出的实际得分；
[0041]根据所述标准得分和所述实际得分，获得评分拟合损失函数；
[0042]通过所述评分拟合损失函数对所述待训练评分模型进行反向传播，得到所述评分模型。
[0043]第二方面，本专利技术实施例还提供了一种开放式试题答案评分装置，该装置包括：
[0044]语言处理模块，用于获取目标试题以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种开放式试题答案评分方法，其特征在于，包括：获取目标试题以及目标答案，分别对所述目标试题以及所述目标答案进行词句特征提取处理，得到试题特征集和答案特征集；对所述试题特征集和所述答案特征集进行相似度衡量，得到语义相似度和字符相似度；采用预先训练好的目标意图解析模型，确定所述试题特征集的试题意图向量，以及所述答案特征集的答案意图向量；根据所述语义相似度、所述字符相似度、所述试题意图向量和所述答案意图向量，结合预先训练好的目标评分模型，确定所述目标答案的答案得分。2.根据权利要求1所述的开放式试题答案评分方法，其特征在于，所述分别对所述目标试题以及所述目标答案进行词句特征提取处理，得到试题特征集和答案特征集，包括：分别对所述目标试题和所述目标答案进行句嵌入操作，得到试题句嵌入向量和答案句嵌入向量；对所述目标试题进行分词操作，得到试题中文分词集和试题英文分词集，对所述试题中文分词集中的试题中文分词进行词嵌入操作，得到试题词嵌入序列；对所述目标答案进行分词操作，得到答案中文分词集和答案英文分词集，对所述答案中文分词集中的答案中文分词进行词嵌入操作，得到答案词嵌入序列；将所述试题句嵌入向量、试题词嵌入序列、试题中文分词集和试题英文分词集构成试题特征集，将所述答案句嵌入向量、答案词嵌入序列、答案中文分词集和答案英文分词集构成答案特征集。3.根据权利要求2所述的开放式试题答案评分方法，其特征在于，所述对所述试题特征集和所述答案特征集进行相似度衡量，得到语义相似度和字符相似度，包括：根据所述试题句嵌入向量和所述答案句嵌入向量，确定语义相似度；对所述试题中文分词集和所述答案中文分词集进行中文字符相似度衡量，得到中文字符相似度，对所述试题英文分词集和所述答案英文分词集进行英文字符相似度衡量，得到英文字符相似度；根据所述中文字符相似度和所述英文字符相似度，确定所述字符相似度。4.根据权利要求2所述的开放式试题答案评分方法，其特征在于，所述采用预先训练好的目标意图解析模型，确定所述试题特征集的试题意图向量，以及所述答案特征集的答案意图向量，包括：运用目标意图解析模型中的目标试题意图解析网络对所述试题词嵌入序列进行意图解析，得到试题意图向量；运用目标意图解析模型中的目标答案意图解析网络对所述答案词嵌入序列进行意图解析，得到答案意图向量。5.根据权利要求4所述的开放式试题答案评分方法，其特征在于，所述目标意图解析模型的训练过程包括：构建包含试题意图解析网络、答案意图解析网络和意图分类器的待训练意图解析模型，并将所述意图分类器的意图类别个数初始化为预设类别数量；基于训练词嵌入数据对所述待训练意图解析模型进行训练，更新所述待训练意图解析
模型的模型参数；基于测试词嵌入数据对更新后的待训练意图解析模型进行测试，并调整所述意图分类器的意图类别个数；返回重新对所述待训练意图解析模型进行训练及测试，并确定所述意图类别个数的调整趋势，当所述调整趋势满足调整稳定条件时，将最后一次更新的待训练意图解析模型确定为目标意图解析模型。6.根据权利要求5所述的开放式试题答案评分方法，其特征在于，所述基于训练词嵌入数据对所述待训练意图解析模型进行训练，更新所述待训练意图解析模型的模型参数，包括：获取预设训练数量组训练词嵌入数据，将各所述训练词嵌入数据输入所述待训练意图解析模型进行训练，更新所述待训练意图解析模型的模型参数，其中，所述训练词嵌入数...

【专利技术属性】
技术研发人员：刘晓俊，曹晓烨，
申请(专利权)人：上海米学人工智能信息科技有限公司，
类型：发明
国别省市：