长度损失确定方法以及装置制造方法及图纸

本申请提供长度损失确定方法以及装置，其中，所述长度损失确定方法包括：确定预测答案在样本文章中的预测起始位置和预测结尾位置；计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；确定所述预测答案的字节长度与目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。本申请提供的长度损失确定方法，不仅提高了长度损失的准确度，还充分反映预测出答案的损失，有利于提高阅读理解模型的训练效率，使训练获得的阅读理解模型的预测准确率更高。训练获得的阅读理解模型的预测准确率更高。训练获得的阅读理解模型的预测准确率更高。

【技术实现步骤摘要】
长度损失确定方法以及装置


[0001]本申请涉及自然语言处理
，特别涉及一种长度损失确定方法。本申请同时涉及一种长度损失确定装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]自然语言处理是研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法，而随着自然语言处理的飞速发展，作为自然语言处理领域中一个热门方向的机器阅读理解也受到了广泛关注，机器阅读理解是致力于教会机器阅读人类的语言并理解其内涵的研究，机器阅读理解任务更注重于对于篇章文本的理解，机器必须自己从篇章中学习到相关信息，而不是利用预设好的世界知识、常识来回答问题，所以更具有挑战性。
[0003]目前，训练机器去阅读理解人类语言的方法，重要的一种实现方式就是通过建立机器阅读理解模型，进一步通过对建立的机器阅读理解模型进行训练来获得想要的机器阅读理解模型，从而在训练获得的机器阅读理解模型的基础上在文本片段中找出问题的答案。但目前的机器阅读理解模型训练过程中考虑的损失不够精确，无法充分反映预测出答案的损失，最终预测出答案的准确率较低。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种长度损失确定方法和一种阅读理解模型训练方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种长度损失确定装置，一种阅读理解模型训练装置，一种计算设备，以及一种计算机可读存储介质。
[0005]本申请提供一种阅读理解模型训练方法，包括：
[0006]获取包含样本问题及其在样本文章中对应目标答案的训练样本；
[0007]通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案；
[0008]确定所述预测答案相对于所述目标答案的准确度损失；
[0009]基于所述准确度损失确定损失函数，利用所述损失函数对所述阅读理解模型进行优化。
[0010]可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
[0011]确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失；
[0012]将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
[0013]基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。
[0014]可选的，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：
[0015]计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及
所述字单元为所述预测答案的结尾字的结尾概率分布；
[0016]基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
[0017]基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。
[0018]可选的，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；
[0019]所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述样本文章中的位置。
[0020]可选的，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置对应的概率数值的差值；
[0021]所述结尾位置损失，包括：所述预测结尾位置对应的概率数值与所述目标答案的结尾位置对应的概率数值的差值。
[0022]可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
[0023]确定所述样本文章对应的文章矩阵；所述样本文章中的字单元与所述文章矩阵中的元素一一对应；
[0024]确定所述预测答案的预测起始位置和预测结尾位置在所述文章矩阵中对应的预测起始元素和预测结尾元素，以及所述目标答案的起始位置和结尾位置在所述文章矩阵中对应的目标起始元素和目标结尾元素；
[0025]确定从所述预测起始元素到所述预测结尾元素的预测答案向量，以及从所述目标起始元素到所述目标结尾元素的目标答案向量；
[0026]计算所述预测答案向量与所述目标答案向量的距离，作为所述预测答案的长度损失。
[0027]可选的，所述将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失，包括：
[0028]确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；
[0029]计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
[0030]确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
[0031]可选的，所述基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失，包括：
[0032]计算所述起始位置损失、所述结尾位置损失和所述长度损失三者的加权和，作为所述预测答案的准确度损失。
[0033]可选的，所述确定所述预测答案相对于所述目标答案的准确度损失，包括：
[0034]确定所述预测答案在所述样本文章中预测起始位置和预测结尾位置的位置损失；
[0035]将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述
预测答案的语义损失；
[0036]将所述预测答案与所述目标答案在所述样本文章中进行比对，确定所述预测答案的长度损失；
[0037]基于所述位置损失、所述语义损失和所述长度损失确定所述预测答案的准确度损失。
[0038]可选的，所述将所述预测答案包含的字单元与所述目标答案包含的字单元进行比对，确定所述预测答案的语义损失，包括：
[0039]计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义相似度；
[0040]基于所述语义相似度计算所述预测答案包含的每个字单元与所述目标答案中对应字单元的语义损失并求和，获得所述预测答案的语义损失。
[0041]本申请提供一种长度损失确定方法，包括：
[0042]确定预测答案在样本文章中的预测起始位置和预测结尾位置；
[0043]计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；
[0044]确定所述预测答案的字节长度与目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。
[0045]可选的，所述确定预测答案在样本文章中的预测起始位置和预测结尾位置之前，还包括：
[0046]确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种长度损失确定方法，其特征在于，包括：确定预测答案在样本文章中的预测起始位置和预测结尾位置；计算所述预测起始位置到所述预测结尾位置的字节长度，作为所述预测答案的字节长度；确定所述预测答案的字节长度与目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失。2.根据权利要求1所述的长度损失确定方法，其特征在于，所述确定预测答案在样本文章中的预测起始位置和预测结尾位置之前，还包括：确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失。3.根据权利要求2所述的长度损失确定方法，其特征在于，所述确定所述预测答案的字节长度与所述目标答案的字节长度的字节长度差值，作为所述预测答案的长度损失之后，还包括：基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失。4.根据权利要求2所述的长度损失确定方法，其特征在于，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失之前，还包括：获取包含样本问题及其在样本文章中对应目标答案的训练样本；通过将所述训练样本输入阅读理解模型生成所述样本问题的预测答案。5.根据权利要求3所述的长度损失确定方法，其特征在于，所述基于所述起始位置损失、所述结尾位置损失和所述长度损失，确定所述预测答案的准确度损失之后，还包括：基于所述准确度损失确定损失函数，利用所述损失函数对阅读理解模型进行优化。6.根据权利要求4或5所述的长度损失确定方法，其特征在于，所述阅读理解模型为Attentive Reader、Attention Sum Reader、Stanford Attentive Reader和Gated Attention Reader中的任意一种。7.根据权利要求2所述的长度损失确定方法，其特征在于，所述确定所述预测答案在所述样本文章中预测起始位置的起始位置损失，以及所述预测答案在所述样本文章中预测结尾位置的结尾位置损失，包括：计算所述样本文章包含的字单元为所述预测答案的起始字的起始概率分布，以及所述字单元为所述预测答案的结尾字的结尾概率分布；基于所述起始概率分布和所述结尾概率分布确定所述预测答案在所述样本文章中的预测起始位置和预测结尾位置；基于所述起始概率分布中包含的所述预测起始位置对应的概率数值确定所述预测起始位置的起始位置损失，以及基于所述结尾概率分布中包含的所述预测结尾位置对应的概率数值确定所述预测结尾位置的结尾位置损失。8.根据权利要求7所述的长度损失确定方法，其特征在于，所述预测起始位置，包括：所述起始概率分布中包含的概率数值最大的字单元在所述样本文章中的位置；所述预测结尾位置，包括：所述结尾概率分布中包含的概率数值最大的字单元在所述
样本文章中的位置。9.根据权利要求8所述的长度损失确定方法，其特征在于，所述起始位置损失，包括：所述预测起始位置对应的概率数值与所述目标答案的起始位置...

【专利技术属性】
技术研发人员：李长亮，李小龙，唐剑波，徐智涛，
申请(专利权)人：成都金山互动娱乐科技有限公司，
类型：发明
国别省市：