一种机器阅读理解的数据处理方法、装置、设备及介质制造方法及图纸

本申请提供一种机器阅读理解的数据处理方法、装置、设备及介质，涉及自然语言处理技术领域。该方法包括：将与样本问题对应的样本上下文进行切分，得到样本句子集合，该样本句子集合中包括多个样本句子；将样本问题与样本句子集合中的各样本句子组合，得到训练样本的特征；根据样本问题对应的样本上下文中的样本答案集合，构建训练样本的标签；将训练样本的特征和标签输入初始机器阅读理解模型中，训练得到目标机器阅读理解模型。应用本申请实施例，可以提高训练得到的目标机器阅读理解模型的精确度。精确度。精确度。

【技术实现步骤摘要】
一种机器阅读理解的数据处理方法、装置、设备及介质


[0001]本申请涉及自然语言处理
，具体而言，涉及一种机器阅读理解的数据处理方法、装置、设备及介质。

技术介绍

[0002]机器阅读理解（Machine Reading Comprehension，MRC）是自然语言处理的核心任务之一，MRC对搜索、问答、文档抽取等都具有直接的应用价值。随着深度学习的不断发展，使得机器阅读理解方法在长文档处理方面得以广泛应用。
[0003]目前，在机器阅读理解模型训练阶段，主要采用滑动窗口策略将问题对应的上下文切分为多个片段，在问题分别与每个片段组合后，可分多次输入至初始机器阅读理解模型中，最终训练得到机器阅读理解模型。
[0004]然而，由于每次只用一个片段对初始机器阅读理解模型进行训练，所以初始机器阅读理解模型只能感知当前输入片段的语义信息，其它片段语义信息丢失，这样会造成上下文语义断层的现象，进而降低机器阅读理解模型的精确度。

技术实现思路

[0005]本申请的目的在于，针对上述现有技术中的不足，提供一种机器阅读理解的数据处理方法、装置、设备及介质，可以提高机器阅读理解模型的精确度。
[0006]为实现上述目的，本申请实施例采用的技术方案如下：第一方面，本申请实施例提供了一种机器阅读理解的数据处理方法，所述方法包括：将与样本问题对应的样本上下文进行切分，得到样本句子集合，所述样本句子集合中包括多个样本句子；将所述样本问题与所述样本句子集合中的各样本句子组合，得到训练样本的特征；根据所述样本问题对应的所述样本上下文中的样本答案集合，构建所述训练样本的标签，所述样本答案集合包括：无样本答案或至少一个样本答案，包括至少一个样本答案的样本答案集合对应的标签包括：样本答案起始位置、样本答案终止位置以及样本答案内容；将所述训练样本的特征和标签输入初始机器阅读理解模型中，训练得到目标机器阅读理解模型。
[0007]可选地，所述将与样本问题对应的样本上下文进行切分，得到样本句子集合，包括：对所述样本上下文中的目标结尾符号进行识别，得到所述目标结尾符号在所述样本上下文的位置信息；根据所述目标结尾符号在所述样本上下文的位置信息对所述样本上下文进行切
分，得到初始样本句子集合，所述初始样本句子集合中包括多个初始样本句子；根据所述初始机器阅读理解模型对应的设置参数对所述初始样本句子集合中的初始样本句子进行处理，得到样本句子集合，所述设置参数包括样本句子的限定长度和/或样本句子的限定数量。
[0008]可选地，所述将所述训练样本的特征和标签输入初始机器阅读理解模型中，训练得到目标机器阅读理解模型，包括：将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层，由所述编码层对所述训练样本的特征和标签进行编码后，得到训练样本向量，所述训练样本向量包括特征向量、标签向量；基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对所述初始机器阅读理解模型进行训练，得到所述目标机器阅读理解模型。
[0009]可选地，所述编码层包括句子编码器、上下文编码器，所述句子编码器与所述上下文编码器连接；所述将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层，由所述编码层对所述训练样本的特征和标签进行编码后，得到训练样本向量，包括：将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的所述句子编码器，由所述句子编码器编码后得到句子向量集合，所述句子向量集合由样本问题向量以及多个样本句子向量组成；将所述句子向量集合输入至所述上下文编码器，由所述上下文编码器交互编码后得到句子语义向量集合，所述句子语义向量集合中包括：所述样本问题对应的样本问题语义向量以及各样本句子向量对应的样本句子语义向量，各样本句子语义向量组成目标上下文向量；根据所述句子语义向量集合，更新所述句子向量集合。
[0010]可选地，所述基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对初始机器阅读理解模型进行训练之前，所述方法还包括：将所述目标上下文向量依次输入至所述初始机器阅读理解模型中的初始第一全连接层以及初始第一激活层，得到有答案概率；获取有无答案标识，所述有无答案标识为有答案标识或无答案标识；根据有无答案损失函数确定所述有无答案损失值，所述有无答案损失函数中至少包括：有答案概率和有无答案标识。
[0011]可选地，所述基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对初始机器阅读理解模型进行训练之前，所述方法还包括：将所述目标上下文向量输入至所述初始机器阅读理解模型中的初始第二全连接层，得到所述目标上下文向量中各位置对应的分数；基于预设掩盖策略，将所述目标上下文向量中各位置对应的分数输入至所述初始第二全连接层后的初始第二激活层，得到各样本答案分别对应的起始位置概率向量，所述起始位置概率向量包括目标上下文向量中各位置对应的起始位置概率，所述预设掩盖策略用于指示在计算所述目标上下文向量中各样本答案起始位置对应的起始位置概率时，需要将各样本答案自身之外的其它样本答案起始位置进行掩盖；
基于将各样本答案自身之外的其它样本答案起始位置进行掩盖策略，得到各样本答案分别对应的掩盖起始位置向量；根据答案起始位置损失函数确定所述答案起始位置损失值，其中，所述答案起始位置损失函数中至少包括如下参数：各样本答案分别对应的起始位置概率向量和各样本答案分别对应的掩盖起始位置向量。
[0012]可选地，所述基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对初始机器阅读理解模型进行训练之前，所述方法还包括：分别将各样本答案对应的起始位置的位置向量与所述目标上下文向量进行拼接，得到各样本答案对应的第一拼接向量；分别将各样本答案对应的第一拼接向量依次输入至所述初始机器阅读理解模型中的初始第三全连接层以及初始第三激活层，得到各样本答案分别对应的终止位置概率向量，所述终止位置概率向量包括目标上下文向量中各位置对应的终止位置概率；根据答案终止位置损失函数确定所述答案终止位置损失值，其中，所述答案终止位置损失函数中至少包括如下参数：各样本答案分别对应的终止位置概率向量和所述标签向量中的终止位置向量。
[0013]可选地，所述方法还包括：将与目标问题对应的待处理上下文进行切分，得到句子集合，所述句子集合中包括多个句子；将所述目标问题以及所述句子集合中的各句子组合后得到的输入数据输入所述目标机器阅读理解模型，由所述目标机器阅读理解模型确定所述待处理上下文中是否存在所述目标问题对应的答案；若是，则由所述目标机器阅读理解模型根据所述输入数据进行编解码处理后，得到至少一组位置对，所述位置对中包括起始位置以及终止位置；根据各组位置对中起始位置对应的起始位置概率以及终止位置对应的终止位置概率，确定各组位置对所对应的联合概率；根据各组位置对应的联合概率以及预设置信度，确定目标位置对，将所述目标位置对组合内容作为所述目标问题对应的目标答案。...

【技术保护点】

【技术特征摘要】
1.一种机器阅读理解的数据处理方法，其特征在于，所述方法包括：将与样本问题对应的样本上下文进行切分，得到样本句子集合，所述样本句子集合中包括多个样本句子；将所述样本问题与所述样本句子集合中的各样本句子组合，得到训练样本的特征；根据所述样本问题对应的所述样本上下文中的样本答案集合，构建所述训练样本的标签，所述样本答案集合包括：无样本答案或至少一个样本答案，包括至少一个样本答案的样本答案集合对应的标签包括：样本答案起始位置、样本答案终止位置以及样本答案内容；将所述训练样本的特征和标签输入初始机器阅读理解模型中，训练得到目标机器阅读理解模型。2.根据权利要求1所述的方法，其特征在于，所述将与样本问题对应的样本上下文进行切分，得到样本句子集合，包括：对所述样本上下文中的目标结尾符号进行识别，得到所述目标结尾符号在所述样本上下文的位置信息；根据所述目标结尾符号在所述样本上下文的位置信息对所述样本上下文进行切分，得到初始样本句子集合，所述初始样本句子集合中包括多个初始样本句子；根据所述初始机器阅读理解模型对应的设置参数对所述初始样本句子集合中的初始样本句子进行处理，得到样本句子集合，所述设置参数包括样本句子的限定长度和/或样本句子的限定数量。3.根据权利要求1所述的方法，其特征在于，所述将所述训练样本的特征和标签输入初始机器阅读理解模型中，训练得到目标机器阅读理解模型，包括：将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层，由所述编码层对所述训练样本的特征和标签进行编码后，得到训练样本向量，所述训练样本向量包括特征向量、标签向量；基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对所述初始机器阅读理解模型进行训练，得到所述目标机器阅读理解模型。4.根据权利要求3所述的方法，其特征在于，所述编码层包括句子编码器、上下文编码器，所述句子编码器与所述上下文编码器连接；所述将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的编码层，由所述编码层对所述训练样本的特征和标签进行编码后，得到训练样本向量，包括：将所述训练样本的特征和标签输入至所述初始机器阅读理解模型中的所述句子编码器，由所述句子编码器编码后得到句子向量集合，所述句子向量集合由样本问题向量以及多个样本句子向量组成；将所述句子向量集合输入至所述上下文编码器，由所述上下文编码器交互编码后得到句子语义向量集合，所述句子语义向量集合中包括：所述样本问题对应的样本问题语义向量以及各样本句子向量对应的样本句子语义向量，各样本句子语义向量组成目标上下文向量；根据所述句子语义向量集合，更新所述句子向量集合。5.根据权利要求4所述的方法，其特征在于，所述基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对初始机器阅读理解模型进行训练之前，
所述方法还包括：将所述目标上下文向量依次输入至所述初始机器阅读理解模型中的初始第一全连接层以及初始第一激活层，得到有答案概率；获取有无答案标识，所述有无答案标识为有答案标识或无答案标识；根据有无答案损失函数确定所述有无答案损失值，所述有无答案损失函数中至少包括：有答案概率和有无答案标识。6.根据权利要求4所述的方法，其特征在于，所述基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对初始机器阅读理解模型进行训练之前，所述方法还包括：将所述目标上下文向量输入至所述初始机器阅读理解模型中的初始第二全连接层，得到所述目标上下文向量中各位置对应的分数；基于预设掩盖策略，将所述目标上下文向量中各位置对应的分数输入至所述初始第二全连接层后的初始第二激活层，得到各样本答案分别对应的起始位置概率向量，所述起始位置概率向量包括目标上下文向量中各位置对应的起始位置概率，所述预设掩盖策略用于指示在计算所述目标上下文向量中各样本答案起始位置对应的起始位置概率时，需要将各样本答案自身之外的其它样本答案起始位置进行掩盖；基于将各样本答案自身之外的其它样本答案起始位置进行掩盖策略，得到各样本答案分别对应的掩盖起始位置向量；根据答案起始位置损失函数确定所述答案起始位置损失值，其中，所述答案起始位置损失函数中至少包括如下参数：各样本答案分别对应的起始位置概率向量和各样本答案分别对应的掩盖起始位置向量。7.根据权利要求4所述的方法，其特征在于，所述基于所述训练样本向量、答案起始位置损失值、答案终止位置损失值、有无答案损失值对初始机器阅读理解模型进行训练之前，所述方法还...

【专利技术属性】
技术研发人员：娄东方，王炯亮，林金曙，陈春旭，张少杰，
申请(专利权)人：恒生电子股份有限公司，
类型：发明
国别省市：