答案评分方法、模型训练方法、装置、存储介质及设备制造方法及图纸

本申请公开了一种答案评分方法、模型训练方法、装置、存储介质及设备。该方法包括：通过获取口语考试中考生作答的语音、根据语音确定的考生作答全文的文本序列和考生作答全文的音素序列，根据语音、音素序列确定考生作答的全文语音水平表示，以及根据文本序列确定考生作答的全文语言水平表示，获取口语考试的多个范文要点，根据多个范文要点和文本序列确定考生作答的全局要点表示，并根据全文语音水平表示、全文语言水平表示和全局要点表示，对考生作答进行评分处理，以得到考生作答的评分，本申请可提高口语考试中机器评分的稳定性和准确性。确性。确性。

【技术实现步骤摘要】
答案评分方法、模型训练方法、装置、存储介质及设备


[0001]本申请涉及人工智能
，具体涉及一种答案评分方法、模型训练方法、装置、计算机可读存储介质及计算机设备。

技术介绍

[0002]近年来，随着人工智能技术的发展与进步，越来越多的场景都使用了人工智能技术，例如涉及口语考试的口语测评场景。在口语测评场景如中高考英文口语考试中，当前机器评分已经大批量取代了人工评分。其中，考察考生综合发音水平的是英文口语看图说话题，英文口语看图说话题评判的是考生的发音水平、作答要点的完整度、作答内容的语言水平、发音流畅度等4个方面。
[0003]虽然机器评分整体上优于人工评分，但是机器评分还是会出现一些离谱的评分错误。例如，考生作答离题、或内容只匹配了关键词但要点错误/要点相似度低，考生表述与考试图片内容部分关键词相似，但是表述含义不同，出现机器打分过高的现象等。这些都会导致看图说话题的机器评分的准确率降低。

技术实现思路

[0004]本申请实施例提供一种答案评分方法、模型训练方法、装置、计算机可读存储介质及计算机设备，可以提高看题说话题机器评分的稳定性和准确性。
[0005]本申请实施例提供了一种答案评分方法，包括：
[0006]获取口语考试中考生作答的语音，以及根据所述语音所确定的所述考生作答全文的文本序列和所述考生作答全文的音素序列；
[0007]根据所述语音、所述音素序列确定所述考生作答的全文语音水平表示，以及根据所述文本序列确定所述考生作答的全文语言水平表示；
[0008]获取所述口语考试的多个范文要点，根据多个范文要点和所述文本序列确定所述考生作答的全局要点表示；
[0009]根据所述全文语音水平表示、所述全文语言水平表示和所述全局要点表示，对所述考生作答进行评分处理，以得到所述考生作答的评分。
[0010]本申请实施例还提供了口语评分模型训练方法，包括：
[0011]获取训练数据集和初始口语评分模型，其中，训练数据集中包括口语考试中的多个训练样本，每个训练样本中包括每个考生作答的训练语音、所述考生作答的标签评分、以及根据所述训练语音所确定的所述考生作答全文的训练文本序列和所述考生作答全文的训练音素序列；
[0012]将所述训练语音和所述训练音素序列输入至所述初始口语评分模型的语音水平建模模块中进行编解码处理，以确定所述考生作答的训练全文语音水平表示，以及将所述训练文本序列输入至所述初始口语评分模型的语言水平建模模块中进行语言提取处理，以确定所述考生作答的训练全文语言水平表示；
[0013]获取所述口语考试的多个训练范文要点，并将多个训练范文要点和所述训练文本序列输入至所述初始口语评分模块的要点处理模块中进行要点语义处理，以确定所述考生作答的训练全局要点表示；
[0014]将所述训练全文语音水平表示、所述训练全文语言水平表示和所述训练全局要点表示输入至所述初始口语评分模块的融合模块中进行评分处理，以得到所述考生作答的训练评分；
[0015]根据所述训练评分和所述标签评分更新所述初始口语评分模型，以得到口语评分模型。
[0016]本申请实施例还提供一种答案评分装置，包括：
[0017]第一获取单元，用于获取口语考试中考生作答的语音，以及根据所述语音所确定的所述考生作答全文的文本序列和所述考生作答全文的音素序列；
[0018]语音表示单元，用于根据所述语音、所述音素序列确定所述考生作答的全文语音水平表示；
[0019]语言表示单元，用于根据所述文本序列确定所述考生作答的全文语言水平表示；
[0020]第二获取单元，用于获取所述口语考试的多个范文要点；
[0021]要点表示单元，用于根据多个范文要点和所述文本序列确定所述考生作答的全局要点表示；
[0022]评分单元，用于根据所述全文语音水平表示、所述全文语言水平表示和所述全局要点表示，对所述考生作答进行评分处理，以得到所述考生作答的评分。
[0023]本申请实施例还提供一种口语评分模型训练装置，包括：
[0024]第一训练获取单元，用于获取训练数据集和初始口语评分模型，其中，训练数据集中包括口语考试中的多个训练样本，每个训练样本中包括每个考生作答的训练语音、所述考生作答的标签评分、以及根据所述训练语音所确定的所述考生作答全文的训练文本序列和所述考生作答全文的训练音素序列；
[0025]训练语音表示单元，用于将所述语音和所述音素序列输入至所述初始口语评分模型的语音水平建模模块中进行编解码处理，以确定所述考生作答的训练全文语音水平表示；
[0026]训练语言表示单元，用于将所述训练文本序列输入至所述初始口语评分模型的语言水平建模模块中进行语言提取处理，以确定所述考生作答的训练全文语言水平表示；
[0027]第二训练获取单元，用于获取所述口语考试的多个训练范文要点；
[0028]训练要点表示单元，用于将多个训练范文要点和所述训练文本序列输入至所述初始口语评分模块的要点处理模块中进行要点语义处理，以确定所述考生作答的训练全局要点表示；
[0029]训练评分单元，用于将所述训练全文语音水平表示、所述训练全文语言水平表示和所述训练全局要点表示输入至所述初始口语评分模块的融合模块中进行评分处理，以得到所述考生作答的训练评分；
[0030]更新单元，用于根据所述训练评分和所述标签评分更新所述初始口语评分模型，以得到口语评分模型。
[0031]本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有
计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的方法中的步骤。
[0032]本申请实施例还提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如上任一实施例所述的方法中的步骤。
[0033]本申请实施例提供的答案评分方法、模型训练方法、装置、计算机可读存储介质及计算机设备，通过获取口语考试中考生作答的语音、根据语音确定的考生作答全文的文本序列和考生作答全文的音素序列，根据语音、音素序列确定考生作答的全文语音水平表示，以及根据文本序列确定考生作答的全文语言水平表示，获取口语考试的多个范文要点，根据多个范文要点和文本序列确定考生作答的全局要点表示，并根据全文语音水平表示、所述全文语言水平表示和所述全局要点表示，对所述考生作答进行评分处理，以得到考生作答的评分，本申请实施例中不仅得到全文语音水平表示、全文语言水平表示，更加入了全局要点表示，使得评分方法融合了多种不同视角上的表示，提高准确性，同时使得评分方法中可以关注到要点级别的语义错误，避免只关注到发音水平和内容水平，而无法关注到要点级别的语义错误，提高口语考试中机器评分的稳定性和准确性。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种答案评分方法，其特征在于，包括：获取口语考试中考生作答的语音，以及根据所述语音所确定的所述考生作答全文的文本序列和所述考生作答全文的音素序列；根据所述语音、所述音素序列确定所述考生作答的全文语音水平表示，以及根据所述文本序列确定所述考生作答的全文语言水平表示；获取所述口语考试的多个范文要点，根据多个范文要点和所述文本序列确定所述考生作答的全局要点表示；根据所述全文语音水平表示、所述全文语言水平表示和所述全局要点表示，对所述考生作答进行评分处理，以得到所述考生作答的评分。2.根据权利要求1所述的方法，其特征在于，所述根据多个范文要点和所述文本序列确定所述考生作答的全局要点表示的步骤，包括：对多个范文要点中的每个范文要点和所述文本序列进行要点提取处理，以确定每个范文要点对应的考生作答要点；对每个范文要点和对应的所述考生作答要点，进行要点级别的注意力语义提取处理，以得到所述考生作答的全局要点表示。3.根据权利要求2所述的方法，其特征在于，所述对每个范文要点和对应的所述考生作答要点，进行要点级别的注意力语义提取处理，以得到所述考生作答的全局要点表示的步骤，包括：对每个范文要点和对应的所述考生作答要点，进行要点级别的语义提取处理，以得到所述考生作答的全文要点语义表示、以及每个范文要点和对应的所述考生作答要点之间的上下文相似度的隐层语义表示；对所述全文要点语义表示和所述隐层语义表示进行注意力机制处理，以得到经过所述隐层语义表示的注意力权重加权之后的全局要点表示。4.根据权利要求3所述的方法，其特征在于，所述方法还包括口语评分模型，所述口语评分模型包括要点级别语义对错模块，所述对每个范文要点和对应的所述考生作答要点，进行要点级别的语义提取处理，以得到所述考生作答的全文要点语义表示和多个范文要点的隐层语义表示的步骤，包括：将每个范文要点和对应的所述考生作答要点进行文本拼接处理，以得到每个要点对文本，其中，每个要点对文本中包括开始标识符；将全局要点表示标识符和多个要点对文本输入至所述要点级别语义对错模块中的要点匹配预训练模型中，进行要点级别的语义提取处理，以得到所述考生作答的全文要点语义表示、和多个要点对文本对应的隐层语义表示；提取多个要点对文本中的每个要点对文本的所述开始标识符对应位置处的隐层语义表示作为每个要点对文本之间的上下文相似度的隐层语义表示。5.根据权利要求3所述的方法，其特征在于，所述方法还包括口语评分模型，所述口语评分模型包括要点重要度模块，所述对所述全文要点语义表示和所述隐层语义表示进行注意力机制处理，以得到经过所述隐层语义表示的注意力权重加权之后的全局要点表示的步骤，包括：将所述全文要点语义表示和所述隐层语义表示进行拼接处理，以得到拼接语义表示；
将所述拼接语义表示输入至所述要点重要度模块的要点重要度模型中进行注意力权重处理，以得到所述全文要点语义表示和多个所述隐层语义表示对应的注意力权重；根据多个所述隐层语义表示对应的注意力权重和对应的所述隐层语义表示进行加权处理，确定经过所述隐层语义表示的注意力权重加权之后的全局要点表示。6.根据权利要求2所述的方法，其特征在于，所述方法还包括口语评分模型，所述口语评分模型包括要点级别语义对错模块，所述对多个范文要点中的每个范文要点和所述文本序列进行要点提取处理，以确定每个范文要点对应的考生作答要点的步骤，包括：将多个范文要点中的每个范文要点和所述文本序列进行拼接处理，以得到多个拼接文本序列；将多个拼接文本序列中的每个拼接文本序列输入至所述要点级别语义对错模块中的要点抽取模型中进行要点提取处理，以得到每个范文要点对应的考生作答要点。7.根据权利要求1所述的方法，其特征在于，所述获取所述口语考试的多个范文要点的步骤，包括：获取口语考试所对应的看图说话题的考试图片；对所述考试图片进行图片编码处理，以得到图片编码结果；根据所述图片编码结果，生成所述考试图片的多个范文要点。8.根据权利要求1所述的方法，其特征在于，所述方法还包括口语评分模型，所述口语评分模型包括融合模块，所述根据所述全文语音水平表示、所述全文语言水平表示和所述全局要点表示，对所述考生作答进行评分处理，以得到所述考生作答的评分的步骤，包括：将所述全文语音水平表示、所述全文语言水平表示和所述全局要点表示进行融合处理，以得到融合了要点表示的融合隐层表示；将所述融合隐层表示输入至所述融合模块中的融合模型中进行非线性评分处理，以得到所述考生作答的评分。9.根据权利要求1所述的方法，其特征在于，所述根据所述语音、所述音素序列确定所述考生作答的全文语音水平表示的步骤，包括：将所述语音分成多个语音片段，并确定多个语音片段对应的多个音素片段；对多个语音片段中的每个语音片段、多个音素片段中与每个语音片段对应的每个音素片段，进行编解码处理，以得到每个语音片段的隐层表示；将所得到的多个语音片段的隐层表示按照音素级别进行处理，以得到所述考生作答的全文语音水平表示。10.一种口语评分模型训练方法，其特征在于，包括：获取训练数据集和初始口语评分模型，其中，训练数据集中包括口语考试中的多个训练样本，每个训练样本中包括每个考生作答的训练语音、所述考生作答的标签评分、以及根据所述训练语音所确定的所述考生作答全文的训练文本序列和所述考生作答全文的训练音素序列；将所述训练语音和所述训练音素序列输入至所述初始口语评分模型的语音水平建模模块中进行编解码处理，以确定所述考生作...

【专利技术属性】
技术研发人员：朱磊，李浩，盛志超，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：