一种基于多跳推理的检索方法及装置制造方法及图纸

本发明专利技术公开了一种基于多跳推理的检索方法及装置，方法包括：S1、给定一个问题作为初始的当前推理路径；S2、使用检索器从当前推理路径中生成搜索查询；S3、读取器逐次将不在推理路径中的一个段落附加到当前推理路径中得到临时推理路径，然后在临时推理路径中寻找问题的答案；S4、如果找到至少一个答案，跳转到S6，否则跳转到S5；S5、重排序器对段落评分，并将排名最高的段落附加到当前推理路径，如果当前推理路径的总段落数未达到阈值则跳转到S2；S6、以最高的可回答性得分预测答案。本方案可以在不依赖人工标注推理路径的场景下，利用深度强化学习，针对任意文本知识库自动寻找最佳的推理路线。理路线。理路线。

【技术实现步骤摘要】
一种基于多跳推理的检索方法及装置


[0001]本专利技术涉及智能检索查询领域，尤其是涉及一种基于多跳推理的检索方法 及装置。

技术介绍

[0002]开放域问答(QA)是我们利用大型文本语料库中的知识的一种重要手段， 并且可以进行多种查询而无需提前建立知识模式。使此类系统能够执行多步推 理可以进一步扩展我们探索这些语料库中知识的能力。
[0003]在最近提出的大规模QA数据集的推动下，开放域问答已经取得了很大进展。 现有技术中的一种分两个阶段的方法，即检索问题的相关内容，然后阅读信息 检索(IR)组件返回的段落以得出最终答案。此后，这种“rank和read”方法 已在各种开放域质量保证系统中采用和扩展，但是此类系统的一个前提是仅限 于回答不需要多跳的问题/多步骤推理。这是因为对于许多多跳问题，不是所有 的相关上下文都可以在单个检索步骤中获得。

技术实现思路

[0004]本专利技术主要是针对无法在单个检索步骤中获得答案的问题，提供一种基于 多跳推理的检索方法及装置。
[0005]本专利技术针对上述技术问题主要是通过下述技术方案得以解决的：一种基于 多跳推理的检索方法，包括以下步骤：
[0006]S1、给定一个问题，初始的当前推理路径仅包含问题本身；
[0007]S2、使用检索器从当前推理路径中生成搜索查询，搜索查询包括新的查询 词；
[0008]S3、读取器将不在推理路径中的一个段落附加到当前推理路径中得到临时 推理路径，然后通过搜索查询在临时推理路径中寻找问题的答案，重复此过程 直至遍历所有不在当前推理路径中的段落；
[0009]S4、如果步骤S3找到至少一个答案，跳转到步骤S6，如果一个答案都找不 到，跳转到步骤S5；
[0010]S5、重排序器根据当前推理路径对各个不在当前推理路径中的段落评分， 并将排名最高的段落附加到当前推理路径形成新的当前推理路径，如果推理路 径的总段落数达到阈值，则停止检索过程，如果未达到阈值则将更新后的当前 推理路径提供给检索器，跳转到步骤S2；
[0011]S6、以最高的可回答性得分预测答案。
[0012]基于多跳推理的检索方法还包括训练方法：
[0013]假设系统的外部环境是一个固定的全文索引，在每一次查询检索之后，获 得一个回报r
t
，t表示当前的轮次；预期回报值表达为：
[0014][0015]其中，γ∈[0,1]是折损因子，每次查询最多进行T轮；θ指这个模型的参 数，E为取期望值操作；
[0016]加入一个基线bias：
[0017][0018]b为预设常数，Rt为加入基线后的结果；
[0019]最终针对强化学习RL的损失函数为：
[0020][0021]p是概率，x
j
是第j个字符输出，k是推理路径添加的新段落，K是推理路 径，θ是模型参数，表示求导操作。
[0022]作为优选，检索器在每一步生成见检索查询时对于每一个字符的二分输出p(x
i
＝1|p)为第一个行动，重排序器对于候选的段落进行排序是第二个行动；检索 索引和阅读器根据问题本身或者正确答案来判断当前推理路径是否包含所有需 要找到的段落；每次成功找到一个正确段落则R＝5，每次增加一轮查询则R＝
‑
1。
[0023]本方案通过配置有监督学习SL：强化学习RL的比率来控制强化学习和监督 学习的比例，从而得到最佳的结果。
[0024]作为优选，可回答性得分为最可能的肯定回答与无答案预测知见的对比似 然数；段落评分为通过将模型的第一个输出字符的隐藏表示与线性变换相乘得 到的分数。
[0025]一种基于多跳推理的检索装置，包括：
[0026]检索器，通过从推理路径中旋转单词来生成自然语言搜索查询；
[0027]阅读器，从推理路径中提取答案，如果置信度不够高则弃权；
[0028]重排序器，为每个检索到的段落分配一个标量分数作为当前推理路径的潜 在延续。
[0029]本专利技术带来的实质性效果是，可以在不依赖人工标注推理路径的场景下， 利用深度强化学习，针对任意文本知识库自动寻找最佳的推理路线。
附图说明
[0030]图1是本专利技术的一种基于多跳推理的检索方法流程图。
具体实施方式
[0031]下面通过实施例，并结合附图，对本专利技术的技术方案作进一步具体的说明。
[0032]实施例：多跳问答数据集的出现引起了学术界对多跳QA的兴趣。与类似 SQuAD的
数据集相比，它们的设计更具挑战性，其特征在于需要多个上下文的 问题记录答案，测试QA系统的能力，以在存在多个证据的情况下推断出答案， 并在大量候选文档中有效地找到证据。但是，由于这些数据集仍然相对较新， 因此，大多数现有研究都集中在少数文档设置中，其中给出了相对少量的上下 文文档，并且这些文档保证包含着“正确的”证据文档。在现实使用中，这个 假设条件几乎是不可能成立的。
[0033]在本方案中，我们提出了MultiQ算法，在不依赖人工标注推理路径的场景 下，利用深度强化学习，针对任意文本知识库自动寻找最佳的推理路线。我们 的系统是基于迭代搜索的基础架构，但是不同于过往的系统依赖人工规则得到 每一次跳跃对应的问题查询，MultiQ仅仅用这一类专家规则作为预训练数据。 在通过监督学习初步得到问题生成模型之后，MultiQ利用仿真模型探索潜在的 推理路线，并且利用基于Policy Gradient的深度强化学习算法在线更新问题生成 模型，从而获得更好的查询生成模型。此外，我们提出了更加稳定的训练算法， 通过迭代监督学习和强化学习，可以有效的避免模型训练崩塌等问题。
[0034]我们在Hotpot数据集上测试了MultiQ算法，实验结果表明通过MultiQ算 法，我们可以获得性能远超仅基于人工规则训练和得到的迭代检索引擎。在 Hotpot数据集上达到了90％的召回率，对于一级搜索自后的片段，召回率提高 了58％。
[0035]受一系列TREC质量检查竞赛的启发，机器阅读理解模型被与检索系统相 结合，实现开放问答的工作。例如使用TF
‑
IDF建立了一个简单的倒排索引查找， 并使用该问题作为查询来检索前5个结果，以供读者模型产生答案。关于开放 域问答的最新工作在很大程度上遵循了这种检索和阅读方法，并着重考虑了在 考虑方面具有问答性能的信息检索组件。但是，这些单步检索和阅读方法从根 本上不足以解决需要多跳推理的问题，尤其是在无法轻易从该问题中检索必要 的证据。
[0036]Qangaroo和HOTPOTQA是迄今为止规模最大的多跳QA数据集。前者是 围绕知识库及其中的知识模式构建的，而后者则在众包和基于跨度的评估中采 用了自由形式的问题生成过程。这两个数据集的设计过程中都提供了人工标注 的支持事实以及一小组干扰文档，以减轻计算负担。然而，研究人员表明，这 有时会导致博弈环境，因此并不总本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多跳推理的检索方法，其特征在于，包括以下步骤：S1、给定一个问题，初始的当前推理路径仅包含问题本身；S2、使用检索器从当前推理路径中生成搜索查询，搜索查询包括新的查询词；S3、读取器将不在推理路径中的一个段落附加到当前推理路径中得到临时推理路径，然后通过搜索查询在临时推理路径中寻找问题的答案，重复此过程直至遍历所有不在当前推理路径中的段落；S4、如果步骤S3找到至少一个答案，跳转到步骤S6，如果一个答案都找不到，跳转到步骤S5；S5、重排序器根据当前推理路径对各个不在当前推理路径中的段落评分，并将排名最高的段落附加到当前推理路径形成新的当前推理路径，如果当前推理路径的总段落数达到阈值，则停止检索过程，如果未达到阈值则将更新后的当前推理路径提供给检索器，跳转到步骤S2；S6、以最高的可回答性得分预测答案。2.根据权利要求1所述的一种基于多跳推理的检索方法，其特征在于，还包括训练方法：假设系统的外部环境是一个固定的全文索引，在每一次查询检索之后，获得一个回报r
t
，t表示当前的轮次；预期回报值表达为：其中，γ∈[0,1]是折损因子，T是每次查询的轮次上限；加入一个基线：b为预设常数，Rt为加入基线后的结果；最终针对强化学习RL的损失函数为：p是概率，x

【专利技术属性】
技术研发人员：赵天成，
申请(专利权)人：宏龙科技杭州有限公司，
类型：发明
国别省市：