机器阅读理解模型训练方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了机器阅读理解模型训练方法、装置、电子设备和存储介质，涉及NLP领域。具体实现方案为：基于获取的样本数据，对初始模型进行训练，生成中间模型；按照第一预设的规则从样本数据中，抽取待处理样本；按照预设的噪声生成方法，生成噪声文本；将噪声文本，分别加入各待处理样本中，得到噪声样本；基于噪声样本，对中间模型进行修正训练，生成机器阅读理解模型。该方法通过在机器阅读理解模型训练过程中，自动生成噪声文本，来训练模型，以提高机器阅读理解模型的抗噪声能力，提高模型的鲁棒性，无需修改模型，且无需人工参与，成本低。

Machine reading comprehension model training methods, devices, electronic devices and storage media

【技术实现步骤摘要】
机器阅读理解模型训练方法、装置、电子设备和存储介质
本申请涉及计算机
，具体涉及自然语言处理(NaturalLanguageProcessing，NLP)
，尤其涉及一种机器阅读理解模型训练方法、装置、电子设备和存储介质。
技术介绍
在没有任何噪声的前提下，机器阅读理解模型可以在给定段落中正确地找出问题的答案。目前为了提高机器阅读理解模型的鲁棒性，通常通过在模型输入中增加更多其他来源的数据，比如加入强语言模型作为输入，来增强机器阅读理解模型对抗噪声的能力。但是这种方式，需要修改阅读理解模型，增加了阅读理解模型的难度和训练的复杂度。
技术实现思路
本申请提出一种机器阅读理解模型训练方法、装置、电子设备和存储介质，用于解决相关技术中，通过在模型输入中增加更多其他来源的数据，提高模型的抗噪声能力的方式，会增加阅读理解模型的难度和训练的复杂度的问题。本申请一方面实施例提出了一种机器阅读理解模型训练方法，包括：基于获取的样本数据，对初始模型进行训练，生成中间模型；按照第一预设的规则从所述样本本文档来自技高网...

【技术保护点】
1.一种机器阅读理解模型训练方法，其特征在于，包括：/n基于获取的样本数据，对初始模型进行训练，生成中间模型；/n按照第一预设的规则从所述样本数据中，抽取待处理样本；/n按照预设的噪声生成方法，生成噪声文本；/n将所述噪声文本，分别加入各待处理样本中，得到噪声样本；/n基于所述噪声样本，对所述中间模型进行修正训练，生成机器阅读理解模型。/n

【技术特征摘要】
1.一种机器阅读理解模型训练方法，其特征在于，包括：
基于获取的样本数据，对初始模型进行训练，生成中间模型；
按照第一预设的规则从所述样本数据中，抽取待处理样本；
按照预设的噪声生成方法，生成噪声文本；
将所述噪声文本，分别加入各待处理样本中，得到噪声样本；
基于所述噪声样本，对所述中间模型进行修正训练，生成机器阅读理解模型。


2.如权利要求1所述的方法，其特征在于，所述按照预设的规则从所述样本数据中，抽取待处理样本，包括：
根据所述样本数据的数量N，确定从所述样本数据中抽取的待处理样本数量M，其中，M小于N；
或者，
从所述样本数据中随机抽取待处理样本；
或者，
根据所述样本数据中各样本对应的标注答案位置，抽取标注答案位置不同的待处理样本。


3.如权利要求1所述的方法，其特征在于，所述按照预设的噪声生成方法，生成噪声文本，包括：
根据所述中间模型对应的词典及预设的权重矩阵，计算噪声向量中各元素的取值；
根据所述噪声向量中各元素的取值，生成噪声文本。


4.如权利要求3所述的方法，其特征在于，所述预设的权重矩阵中包括L×K个元素；
所述根据所述中间模型对应的词典及预设的权重矩阵，计算噪声向量中各元素的取值，包括：
根据预设的权重矩阵中第i行元素的取值，及与所述中间模型对应的词典中前K个字符分别对应的向量值，确定所述噪声向量中第i个元素的取值。


5.如权利要求4所述的方法，其特征在于，所述计算噪声向量中各元素的取值之后，还包括：
将所述噪声向量插入所述待处理样本对应的文本向量中，生成待解析向量；
根据所述噪声向量的插入位置及所述待处理样本中答案的初始标注位置，确定所述待解析向量中答案的标注位置；
利用所述中间模型对所述待解析向量进行编码和解码处理，以确定所述待解析向量中答案的预测位置；
若所述待解析向量中答案的预测位置与所述标注位置的匹配度大于或等于阈值，则更新所述预设的权重矩阵，重新生成噪声向量，直至所述中间模型对重新生成的噪声向量进行编码和解码处理后，确定的预测位置与所述标注位置的匹配度小于阈值。


6.如权利要求5所述的方法，其特征在于，所述将所述噪声向量插入所述待处理样本对应的文本向量中之前，还包括：
根据所述待处理样本对应的文本向量中答案的标注位置[SS,Se]，确定所述噪声向量的插入位置Si小于或等于SS-x，或者，Si大于或等于Se，其中，SS为答案的起始位置，Se为答案的结束位置，x为噪声向量的长度。


7.如权利要求3-6任一所述的方法，其特征在于，所述根据所述噪声向量中各元素的取值，生成噪声文本，包括：
从所述预设的权重矩阵中，获取噪声向量中每个元素对应的权重向量；
根据每个权重向量中最大权重值所在位置，从预设的词典中抽取相应位置的字符作为噪声文本对应位置的字符。


8.如权利要求3-6任一所述的方法，其特征在于，所述根据所述噪声向量中各元素的取值，生成噪声文本，包括：
从所述中间模型对应的词典中选取字符对应的向量取值，与噪声向量中第j个元素的取值匹配度最高的字符，作为噪声文本中第j个位置的字符。


9.一种机器阅读理解模型训练装置，其特征在于，包括：
第一生成模块，用于基于获取的样本数据，对初始模型进行训练，生成中间模型；
抽取模块，用于按照第一预设的规则从所述样本数据中，抽取待处理样本；
第二生成...

【专利技术属性】
技术研发人员：刘凯，佘俏俏，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11