基于多文档的机器阅读理解方法及装置制造方法及图纸

本发明专利技术提供一种基于多文档的机器阅读理解方法及装置，涉及自然语言处理技术领域，该方法包括：基于问题数据，从文档库筛选出多个目标文档；将问题数据和所有目标文档输入至阅读理解模型，获得阅读理解模型输出的与问题数据对应的答案数据。本发明专利技术提供的基于多文档的机器阅读理解方法及装置，基于问题数据筛选出多个与问题关联的目标文档，以问题数据和目标文档作为阅读理解模型的输入，输出的结果为与问题数据对应的答案数据。实现通过神经网络从多个文档中抽取出相应的非连续的答案片段，以重新组合的方式生成答案，能够解决用户提出的问题需要综合多个文档才能进行回答的问题，大大提高阅读理解的准确度和使用范围。大提高阅读理解的准确度和使用范围。大提高阅读理解的准确度和使用范围。

【技术实现步骤摘要】
基于多文档的机器阅读理解方法及装置


[0001]本专利技术涉及自然语言处理
，尤其涉及一种基于多文档的机器阅读理解方法及装置。

技术介绍

[0002]机器阅读理解是一种能够根据用户的问题，直接从文档中抽取片段作为答案的技术。具有阅读理解技术的搜索引擎可以直接以自然语言返回用户提出的问题的正确答案，而不是返回一系列相关的web页面，使对话更加自然。
[0003]传统的机器阅读理解技术主要是基于单文档的阅读理解，即默认条件是答案在单个文档中就可以包含，且是连续的片段，即使是一些多文档的阅读理解技术，也仅仅是利用了多文档中的上下文信息进行指代消解或者信息补全，最终的答案信息依旧是多文档中的某个单文档的某个连续片段。对于一些答案是跨文档的多个非连续片段的对话场景，无法获取准确较高的答案。

技术实现思路

[0004]本专利技术提供一种基于多文档的机器阅读理解方法及装置，用以解决现有技术中跨文档的对话场景准确率较低的缺陷。
[0005]本专利技术提供一种基于多文档的机器阅读理解方法，包括：基于问题数据，从文档库筛选出多个目标文档；将所述问题数据和所有所述目标文档输入至阅读理解模型，获得所述阅读理解模型输出的与所述问题数据对应的答案数据；其中，所述阅读理解模型是基于样本问题数据、样本答案数据、所述样本答案数据对应标注的答案片段，以及答案片段的排序位置训练得到的。
[0006]根据本专利技术提供的一种基于多文档的机器阅读理解方法，所述阅读理解模型包括片段抽取层、片段排序层和答案转换层；将所述问题数据和所有所述目标文档输入至所述片段抽取层，获取所述片段抽取层输出的答案片段；将所述问题数据和所述答案片段输入至所述片段排序层进行排序，获取所述片段排序层输出的答案序列；将所述问题数据和所述答案序列输入至所述答案转换层，获取所述答案转换层输出的所述答案数据。
[0007]根据本专利技术提供的一种基于多文档的机器阅读理解方法，所述答案转换层包括生成式模型；所述将所述问题数据和所述答案序列输入至所述答案转换层，获取所述答案转换层输出的所述答案数据，包括：将所述问题数据和所述答案序列输入至所述生成式模型，获取所述生成式模型输
出的上下文语句；基于所述答案转换层对所述上下文语句进行整合，得到所述答案数据；其中，所述生成式模型是基于样本问题数据和所述样本答案数据训练得到的，所述生成式模型包括目标词典，所述目标词典包含连接词以及指向所述目标文档存储位置的指针。根据本专利技术提供的一种基于多文档的机器阅读理解方法，所述片段排序层包括片段排序模型；所述将所述问题数据和所述答案片段输入至所述片段排序层进行排序，获取所述片段排序层输出的答案序列，包括：将所述问题数据和所述答案片段输入至所述片段排序模型进行排序，获取所述片段排序模型输出的所述答案序列；其中，所述片段排序模型是基于样本问题数据、所述样本答案数据，以及所述样本答案数据对应标注的答案片段的排序位置训练得到的。
[0008]根据本专利技术提供的一种基于多文档的机器阅读理解方法，所述片段抽取层包括片段抽取模型；所述将所述问题数据和所有所述目标文档输入至所述片段抽取层，获取所述片段抽取层输出的答案片段，包括：将所述问题数据和所述目标文档输入至所述片段抽取模型，获取所述片段抽取模型输出的抽取结果；基于所述片段抽取层从所述抽取结果中筛选出与所述问题数据关联的所述答案片段；其中，所述片段抽取模型是是基于样本问题数据、所述样本答案数据，以及所述样本答案数据对应标注的答案片段训练得到的。
[0009]根据本专利技术提供的一种基于多文档的机器阅读理解方法，所述基于问题数据，从文档库筛选出多个目标文档，包括：基于所述问题数据，获取关键词数据；基于所述关键词数据，在所述文档库中匹配到所述目标文档。
[0010]根据本专利技术提供的一种基于多文档的机器阅读理解方法，所述基于所述关键词数据，在所述文档库中匹配到所述目标文档，包括：基于所述关键词数据，在所述文档库中匹配到候选文档；根据所述候选文档的排序结果，从所述候选文档中筛选出所述目标文档。
[0011]本专利技术还提供一种基于多文档的机器阅读理解装置，包括：文档检索模块，用于基于问题数据，从文档库筛选出多个目标文档；阅读理解模块，用于将所述问题数据和所有所述目标文档输入至阅读理解模型，获得所述阅读理解模型输出的与所述问题数据对应的答案数据；其中，所述阅读理解模型是基于样本问题数据、样本答案数据、所述样本答案数据对应标注的答案片段，以及答案片段的排序位置训练得到的。
[0012]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多文档的机器阅读理解方法。
[0013]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多文档的机器阅读理解方法。
[0014]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多文档的机器阅读理解方法。
[0015]本专利技术提供的基于多文档的机器阅读理解方法及装置，基于问题数据筛选出多个与问题关联的目标文档，以问题数据和目标文档作为阅读理解模型的输入，输出的结果为与问题数据对应的答案数据。实现通过神经网络从多个文档中抽取出相应的非连续的答案片段，以重新组合的方式生成答案，能够解决用户提出的问题需要综合多个文档才能进行回答的问题，大大提高阅读理解的准确度和使用范围。
附图说明
[0016]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术提供的基于多文档的机器阅读理解方法的流程示意图；图2是本专利技术提供的基于多文档的机器阅读理解装置的结构示意图；图3是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0018]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]本申请的说明书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
[0020]应当理解，在本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多文档的机器阅读理解方法，其特征在于，包括：基于问题数据，从文档库筛选出多个目标文档；将所述问题数据和所有所述目标文档输入至阅读理解模型，获得所述阅读理解模型输出的与所述问题数据对应的答案数据；其中，所述阅读理解模型是基于样本问题数据、样本答案数据、所述样本答案数据对应标注的答案片段，以及答案片段的排序位置训练得到的。2.根据权利要求1所述的基于多文档的机器阅读理解方法，其特征在于，所述阅读理解模型包括片段抽取层、片段排序层和答案转换层；将所述问题数据和所有所述目标文档输入至所述片段抽取层，获取所述片段抽取层输出的答案片段；将所述问题数据和所述答案片段输入至所述片段排序层进行排序，获取所述片段排序层输出的答案序列；将所述问题数据和所述答案序列输入至所述答案转换层，获取所述答案转换层输出的所述答案数据。3.根据权利要求2所述的基于多文档的机器阅读理解方法，其特征在于，所述答案转换层包括生成式模型；所述将所述问题数据和所述答案序列输入至所述答案转换层，获取所述答案转换层输出的所述答案数据，包括：将所述问题数据和所述答案序列输入至所述生成式模型，获取所述生成式模型输出的上下文语句；基于所述答案转换层对所述上下文语句进行整合，得到所述答案数据；其中，所述生成式模型是基于样本问题数据和所述样本答案数据训练得到的，所述生成式模型包括目标词典，所述目标词典包含连接词以及指向所述目标文档存储位置的指针。4.根据权利要求2所述的基于多文档的机器阅读理解方法，其特征在于，所述片段排序层包括片段排序模型；所述将所述问题数据和所述答案片段输入至所述片段排序层进行排序，获取所述片段排序层输出的答案序列，包括：将所述问题数据和所述答案片段输入至所述片段排序模型进行排序，获取所述片段排序模型输出的所述答案序列；其中，所述片段排序模型是基于样本问题数据、所述样本答案数据，以及所述样本答案数据对应标注的答案片段的排序位置训练得到的。5.根据权利...

【专利技术属性】
技术研发人员：侯晋峰，肖立鹏，
申请(专利权)人：北京沃丰时代数据科技有限公司，
类型：发明
国别省市：