一种基于BERT的深度神经网络模型的自动评卷方法技术

本发明专利技术公开了一种基于BERT的深度神经网络模型的自动评卷方法，在编码答案文本的微调BERT模型之上，构建一个语义细化层来细化BERT输出的语义，为BERT模型的隐藏状态提取相关的局部上下文。其次，引入一个多头注意力来融合从BERT输出中提取的全局上下文和局部上下文，作为学生答案和参考答案的句子对的最终表示。再者，本发明专利技术为简答题自动评卷提出了一种三重热点的策略，它将标准交叉熵损失函数中的计算标签从单独热点黄金分布改进为三重热点黄金分布。通过本发明专利技术实现端到端的简答题自动阅卷，以更有效的方法解决简答题自动评卷问题。以更有效的方法解决简答题自动评卷问题。以更有效的方法解决简答题自动评卷问题。

【技术实现步骤摘要】
一种基于BERT的深度神经网络模型的自动评卷方法


[0001]本专利技术涉及教育技术与计算机应用
，尤其是一种基于BERT的深度神经网络模型的自动评卷方法，可广泛应用于各个领域的简答题计算机自动阅卷系统中。

技术介绍

[0002]考试试卷中的试题从答案组成的形式上，被普遍分为客观题与主观题两大类。答案以选项编号表示的单选题、多选题、判断题等试题被称为客观题，而答案采用自然语言表示的简答题、名词解释和论述题等试题被称为主观题。由于单选题、多选题、判断题等客观题目的答案都是以选项编号表示，目前计算机对于此类题型进行自动阅卷时，只需将标准答案的选项编号与学生答案的选项编号进行简单的匹配运算，匹配成功则答案正确，该处理技术已经取得较好的成果。但对于答案采用自然语言表示的主观题自动阅卷技术,如：对简答题、名词解释和论述题等自动评卷，由于其受到自然语言理解、模式识别等理论与技术瓶颈影响,效果不是很理想。
[0003]主观题不同于客观题，不仅需要采用自然语言表示答案，而且具有一定的主观性，允许学生在一定的范围内答题，因此答案往往不是唯一的，而且学生答题的方式会有多种形式。另一方面，教师在批阅试卷的时候，还可能会受到主观因素的影响，以及学生字体是否美观、卷面是否整洁等的影响，使得教师在评卷时，出现不合理的加分或扣分现象，有失考试的公正性和公平性。主观题的计算机自动阅卷，既减轻了教师人工阅卷的劳动强度，又减少人为因素的影响，保证了阅卷的客观性、公正性，因此对主观题计算机自动阅卷技术的研究，具有重要的意义。然而，由于主观题学生答案的多样性与随意性，目前还没有使用计算机对主观题进行自动阅卷的成熟技术，并且普遍仅关注于答案文本较短的简答题。
[0004]在传统的简答题计算机自动阅卷系统中，普遍采用关键字匹配技术进行主观题自动阅卷，即在答案中标注出若干关键字或关键词，将其与学生答案进行匹配，并根据匹配成功的多少对学生答案进行评卷，由于自然语言的多样性与随意性，这种方法的评卷准确率非常低。为提高评卷的准确率，出现了一些基于句法分析与语义分析的主观题自动阅卷方法，这类评卷方法虽然可以在评卷过程中融入语义分析，提高了评卷的准确率，但由于句法分析自身的准确率不高，以及语义分析无法处理句子的时序性，这极大地限制了这类系统的应用范围与实用性。
[0005]随着人工神经网络技术的不断发展，许多深度学习模型如基于LSTM的模型、基于CNN&LSTM的模型和基于Transformer的模型被应用于简答题评卷。这些深度学习模型利用不同的神经网络从转换为词嵌入序列的答案文本中自动提取局部和全局语义信息，从而提供一种无需任何特征工程工作的端到端方法。然而，简答题自动评卷的深度学习方法仍然具有挑战性，主要有两个原因：首先，学生通常使用不同的自由文本来回答同一个问题，学生的答案在句子结构、语言风格和文本长度上可能存在显着差异。因此，有必要利用先进的学习技术在简答题自动评卷任务中结合不同的深度神经网络，以实现对学生答案更深入的语义理解；其次，简答题自动评卷的深度学习方法是一种全监督机器学习，需要为训练语料
中的每个学生答案分配一个标签分数，如表1所示。自由表达的学生答案，简答题自动评卷的训练语料库通常很小。因此，如何在小语料库上训练出稳定有效的深度神经网络模型是简答题自动评卷深度学习方法面临的一大挑战。
[0006]表1在Mohler数据集中的简答题语料
[0007]
技术实现思路

[0008]本专利技术公开了一种基于BERT的深度神经网络模型的自动评卷方法，采用了基于BERT的自动简答题评卷深度神经网络模型，实现端到端的简答题自动阅卷，以更有效的方法解决简答题自动评卷问题。
[0009]为实现上述目的，本专利技术的技术方案为：
[0010]一种基于BERT的深度神经网络模型的自动评卷方法，包括以下步骤：
[0011]S1.BERT编码层：将输入序列s送入BERT编码层进行处理，所述BERT编码层以微调的方式运行，得到BERT编码层的输出O
BERT
，并把O
BERT
作为简答题评卷的初始编码；
[0012]S2.语义细化层：使用Bi
‑
LSTM网络为BERT编码层的输出O
BERT
提取精细的全局上下文，使用Capsule网络为BERT编码层隐藏状态提取相关局部上下文，Bi
‑
LSTM网络和Capsule网络并行工作，得到输出和O
Caps
；
[0013]S3.语义融合层：通过语义融合层将语义细化层的三种输出语义和O
Caps
整合在一起，得到简答题评卷的连接语义表示X；使用一个多头注意力共同关注X中不同位置的信息，得到简答题评卷的融合语义表示X
(h)
；
[0014]S4.预测层：对简答题评卷的融合语义表示X
(h)
执行一个最大池化操作，得到简答题评卷的最终语义表示Z，将Z输入到一个线性变换层，进行评卷区间的预测概率计算，获得使预测概率为最大值的评卷区间；
[0015]S5.将标准交叉熵损失函数中的计算标签改进为三重热点黄金分布，训练实现最小化Ω中所有训练学生答案的损失误差，Ω是自动简答题评卷任务中的训练学生答案的集合。
[0016]进一步的，所述步骤S1具体包括：
[0017]S1.1 BERT编码层的输入序列s是由学生答案和参考答案的句子对所组成，如下所示：
[0018][0019]其中，w
[CLS]是BERT分类符[CLS]的编码，q是学生答案，是参考答案的字词编码序列，p是主观题题目T的参考答案，是参考答案的字词编码序列，w
[SEP]是BERT分隔符[SEP]的编码,u是学生答案中字词的个数，v是参考答案中字词的个数,n是输入序列s的长度，且n＝u+v+3，d
w
是BERT中字符编码的维度；所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；
[0020]S1.2将输入序列s送入BERT编码层进行处理，得到BERT编码层的输出O
BERT
，并把O
BERT
作为简答题评卷的初始编码，计算过程如下：
[0021][0022]其中，BERT(
·
)表示BERT编码层,是BERT编码层的第i个隐藏状态,d
b
是BERT编码层的隐藏单元数。
[0023]进一步的，所述步骤S2具体包括：
[0024][0025][0026][0027]其中，表示一个按从左到右时序处理O
BERT
的LSTM网络，表示一个按从右到左时序处理O
BERT
的LSTM网络，表示网络的输出，表示网络的输出，Capsules(O
BERT
)表示一个输入为O
BERT
的Capsule网络，O
Caps本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT的深度神经网络模型的自动评卷方法，其特征在于包括以下步骤：S1.BERT编码层：将输入序列s送入BERT编码层进行处理，所述BERT编码层以微调的方式运行，得到BERT编码层的输出O
BERT
，并把O
BERT
作为简答题评卷的初始编码；S2.语义细化层：使用Bi
‑
LSTM网络为BERT编码层的输出O
BERT
提取精细的全局上下文，使用Capsule网络为BERT编码层隐藏状态提取相关局部上下文，Bi
‑
LSTM网络和Capsule网络并行工作，得到输出和O
Caps
；S3.语义融合层：通过语义融合层将语义细化层的三种输出语义和O
Caps
整合在一起，得到简答题评卷的连接语义表示X；使用一个多头注意力共同关注X中不同位置的信息，得到简答题评卷的融合语义表示X
(h)
；S4.预测层：对简答题评卷的融合语义表示X
(h)
执行一个最大池化操作，得到简答题评卷的最终语义表示Z，将Z输入到一个线性变换层，进行评卷区间的预测概率计算，获得使预测概率为最大值的评卷区间；S5.将标准交叉熵损失函数中的计算标签改进为三重热点黄金分布，训练实现最小化Ω中所有训练学生答案的损失误差，Ω是自动简答题评卷任务中的训练学生答案的集合。2.根据权利要求1所述的自动评卷方法，其特征在于：所述步骤S1具体包括：S1.1 BERT编码层的输入序列s是由学生答案和参考答案的句子对所组成，如下所示：其中，w
[CLS]
是BERT分类符[CLS]的编码，是学生答案的字词编码序列，q是学生答案，是参考答案的字词编码序列，p是主观题题目T的参考答案，w
[SEP]
是BERT分隔符[SEP]的编码,u是学生答案中字词的个数，v是参考答案中字词的个数,n是输入序列s的长度，且n＝u+v+3，d
w
是BERT中字符编码的维度；所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；S1.2将输入序列s送入BERT编码层进行处理，得到BERT编码层的输出O
BERT
，并把O
BERT
作为简答题评卷的初始编码，计算过程如下：其中，BERT(
·
)表示BERT编码层,是BERT编码层的第i个隐藏状态,d
b
是BERT编码层的隐藏单元数。3.根据权利要求2所述的自动评卷方法，其特征在于：所述步骤S2具体包括：所述步骤S2具体包括：所述步骤S2具体包括：其中，表示一个按从左到右时序处理O
BERT
的LSTM网络，表示一
个按从右到左时序处理O
BERT
的LSTM网络，表示网络的输出，表示网络的输出，Capsules(O
BERT
)表示一个输入为O
BERT
的Capsule网络，O
Caps
表示Capsules(O
BERT
)网络的输出，分别表示和网络中第i个时间步的隐藏状态，表示Capsule网络中卷积胶囊层的第i个输出向量，d
L
是LSTM网络中隐藏单元的数量,d
c
是Capsule网络中卷积核的数量；对和O
Caps
使用layer normalization进行层归一化处理，处理为
‑

【专利技术属性】
技术研发人员：朱新华，吴晗，张兰芳，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：