一种答案排序方法、装置及存储介质制造方法及图纸

本申请实施例公开一种答案排序方法、装置及存储介质，方法包括：获取问题对应的多个候选答案；根据问题与每个候选答案之间的匹配信息，计算每个候选答案为正确答案的正确性得分；根据每个候选答案的正确性得分，对候选答案进行预排序得到预排序队列；根据预排序队列中每个候选答案的排序顺序，从预排序队列中确定当前需要参与重排序的目标候选答案；从历史候选答案的背景信息中提取目标证据信息，并根据目标证据信息和问题获取目标候选答案的目标正确性得分；根据目标正确性得分将目标候选答案插入到目标排序队列中的相应位置；当预排序队列中所有候选答案均被插入到目标排序队列时，输出目标排序队列。本方案能够提高判断候选答案的准确性。

An answer sorting method, device and storage medium

【技术实现步骤摘要】
一种答案排序方法、装置及存储介质
本申请实施例涉及互联网
，尤其涉及一种答案排序方法、装置及存储介质。
技术介绍
在搜索系统中，一般会针对用户输入的问题给出多个答案以供用户选择，简称为答案选择。答案选择是将正确的候选答案排在错误答案的前面的一个排序过程。目前主要基于两类模型实现答案选择，一类是基于问题和候选答案之间的相似度匹配，问题是判断候选答案的唯一依据，不考虑利用其他的额外信息。一类是除了将问题作为依据外，还设法从额外的语料库或知识库中提取一些额外信息作为选择正确答案的依据。例如，采用应用循环神经网络或卷积神经网络等深层网络结构对问题和候选答案进行编码以及进一步进行相似度匹配。对候选答案而言，与问题匹配程度越高，越有可能为正确答案。这类模型可大致分为基于注意力机制(Attentionmechanism)的模型和基于比较-聚合(Compare-Aggregate)机制的模型。在对现有技术的研究和实践过程中，本申请实施例的专利技术人发现，由于问题与候选答案之间的匹配信息有限，一定程度上限制答案选择系统的效果。从外部语料库或者知识库抽取一些与问题相关的信息作为额外信息来辅助判断候选答案的正误。使用的额外信息包括利用搜索系统搜索出的与问题相关的文本，以及通过实体链接从知识库中抽取出的三元组，但是，这种抽取额外信息的方式需要借助第三方工具，所以耗时长且代价昂贵。这两种方式下判断候选答案的准确性不高。
技术实现思路
本申请实施例提供了一种答案排序方法、装置及存储介质，能够提高判断候选答案的准确性，无需借助第三方工具，以及提高整个答案选择的效率。第一方面中，本申请实施例提供一种答案排序方法，所述方法包括：获取问题对应的多个候选答案；根据所述问题与每个候选答案之间的匹配信息，计算每个候选答案为正确答案的正确性得分；根据每个候选答案的正确性得分，对候选答案进行预排序，得到预排序队列；根据预排序队列中每个候选答案的排序顺序，从所述预排序队列中确定当前需要参与重排序的目标候选答案；从历史候选答案的背景信息中提取目标证据信息，并根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分，其中，所述历史候选答案为历史参与重排序的候选答案；根据所述目标正确性得分，将所述目标候选答案插入到目标排序队列中的相应位置；当所述预排序队列中所有候选答案均被插入到所述目标排序队列时，输出所述目标排序队列。一种可能的设计中，所述从历史候选答案的背景信息中提取目标证据信息之后，所述根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分之前，所述方法还包括：获取所述目标证据信息与所述目标候选答案之间的匹配信息；对所述问题与所述目标候选答案之间的匹配信息，以及所述目标证据信息与所述目标候选答案之间的匹配信息进行合成，得到目标匹配信息；所述根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分，包括:根据所述目标匹配信息，所述目标证据信息和所述问题获取所述目标正确性得分。一种可能的设计中，所述从历史候选答案的背景信息中提取目标证据信息，包括：获取所述历史候选答案的历史证据信息和历史正确性得分；根据所述历史正确性得分，从所述历史证据信息中确定当前重排序所需的证据分量；根据所述历史候选答案的背景信息、所述历史证据信息以及所述证据分量得到所述目标证据信息。一种可能的设计中，所述根据所述目标匹配信息，所述目标证据信息和所述问题获取所述目标正确性得分，包括：根据所述目标证据信息预测并标记所述目标候选答案回答所述问题时所有可能的断言结果；根据所述目标匹配信息计算所述目标候选答案回答所述问题时所有可能的断言结果的概率分布；根据所述概率分布和多层感知参数得到所述目标正确性得分。一种可能的设计中，所述从历史候选答案的背景信息中提取目标证据信息之前，所述方法还包括：提取所述预排序队列中参与重排序的第一个候选答案的背景信息；将所述第一个候选答案的背景信息初始化为信息向量，将所述信息向量作为所述预排序队列中参与下一次重排序的候选答案的证据信息。一种可能的设计中，所述方法由神经网络模型实现；在所述将所述目标候选答案插入到目标排序队列中的相应位置之后，所述当所述预排序队列中所有候选答案均被插入到目标排序队列时，输出目标排序队列之前，所述方法还包括：获取本次重排序中插入候选答案后所述目标排序队列的当前排序精度、以及上一次重排序中插入历史候选答案后所述目标排序队列的历史排序精度，其中，排序精度表示评估每次插入答案后所述目标排序队列的评估参数；计算所述当前排序精度与所述历史排序精度之间的差值；根据所述差值对神经网络模型进行训练。一种可能的设计中，所述根据所述差值对神经网络模型进行训练，包括：计算所述差值的奖励值；按照所述差值的奖励值最大化规则，对神经网络模型进行训练。一种可能的设计中，所述方法还包括：将所述目标排序队列存储至区块链。第二方面中，本申请实施例提供一种答案排序装置，具有实现对应于上述第一方面提供的答案排序方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。一种可能的设计中，所述装置包括：输入输出模块，用于获取问题对应的多个候选答案；处理模块，用于根据所述问题与每个候选答案之间的匹配信息，计算每个候选答案为正确答案的正确性得分；根据每个候选答案的正确性得分，对候选答案进行预排序，得到预排序队列；所述处理模块还用于根据预排序队列中每个候选答案的排序顺序，从所述预排序队列中确定当前需要参与重排序的目标候选答案；从历史候选答案的背景信息中提取目标证据信息，并根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分，其中，所述历史候选答案为历史参与重排序的候选答案；所述处理模块还用于根据所述目标正确性得分，将所述目标候选答案插入到目标排序队列中的相应位置；所述输入输出模块还用于当所述预排序队列中所有候选答案均被插入到所述目标排序队列时，输出所述目标排序队列。一种可能的设计中，所述处理模块在从历史候选答案的背景信息中提取目标证据信息之后，根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分之前，还用于：获取所述目标证据信息与所述目标候选答案之间的匹配信息；对所述问题与所述目标候选答案之间的匹配信息，以及所述目标证据信息与所述目标候选答案之间的匹配信息进行合成，得到目标匹配信息；所述根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分，包括：根据所述目标匹配信息，所述目标证据信息和所述问题获取所述目标正确性得分。一种可能的设计中，所述处理模块具体用于：获取所述历史候本文档来自技高网...

【技术保护点】
1.一种答案排序方法，其特征在于，所述方法包括：/n获取问题对应的多个候选答案；/n根据所述问题与每个候选答案之间的匹配信息，计算每个候选答案为正确答案的正确性得分；/n根据每个候选答案的正确性得分，对候选答案进行预排序，得到预排序队列；/n根据预排序队列中每个候选答案的排序顺序，从所述预排序队列中确定当前需要参与重排序的目标候选答案；/n从历史候选答案的背景信息中提取目标证据信息，并根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分，其中，所述历史候选答案为历史参与重排序的候选答案；/n根据所述目标正确性得分，将所述目标候选答案插入到目标排序队列中的相应位置；/n当所述预排序队列中所有候选答案均被插入到所述目标排序队列时，输出所述目标排序队列。/n

【技术特征摘要】
1.一种答案排序方法，其特征在于，所述方法包括：
获取问题对应的多个候选答案；
根据所述问题与每个候选答案之间的匹配信息，计算每个候选答案为正确答案的正确性得分；
根据每个候选答案的正确性得分，对候选答案进行预排序，得到预排序队列；
根据预排序队列中每个候选答案的排序顺序，从所述预排序队列中确定当前需要参与重排序的目标候选答案；
从历史候选答案的背景信息中提取目标证据信息，并根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分，其中，所述历史候选答案为历史参与重排序的候选答案；
根据所述目标正确性得分，将所述目标候选答案插入到目标排序队列中的相应位置；
当所述预排序队列中所有候选答案均被插入到所述目标排序队列时，输出所述目标排序队列。


2.根据权利要求1所述的方法，其特征在于，所述从历史候选答案的背景信息中提取目标证据信息之后，所述根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分之前，所述方法还包括：
获取所述目标证据信息与所述目标候选答案之间的匹配信息；
对所述问题与所述目标候选答案之间的匹配信息，以及所述目标证据信息与所述目标候选答案之间的匹配信息进行合成，得到目标匹配信息；
所述根据所述目标证据信息和所述问题获取所述目标候选答案的目标正确性得分，包括：
根据所述目标匹配信息，所述目标证据信息和所述问题获取所述目标正确性得分。


3.根据权利要求2所述的方法，其特征在于，所述从历史候选答案的背景信息中提取目标证据信息，包括：
获取所述历史候选答案的历史证据信息和历史正确性得分；
根据所述历史正确性得分，从所述历史证据信息中确定当前重排序所需的证据分量；
根据所述历史候选答案的背景信息、所述历史证据信息以及所述证据分量得到所述目标证据信息。


4.根据权利要求3所述的方法，其特征在于，所述根据所述目标匹配信息，所述目标证据信息和所述问题获取所述目标正确性得分，包括：
根据所述目标证据信息预测并标记所述目标候选答案回答所述问题时所有可能的断言结果；
根据所述目标匹配信息计算所述目标候选答案回答所述问题时所有可能的断言结果的概率分布；
根据所述概率分布和多层感知参数得到所述目标正确性得分。


5.根据权利要求1所述的方法，其特征在于，所述从历史候选答案的背景信息中提取目标证据信息之前，所述方法还包括：
提取所述预排序队列中参与重排序的第一个候选答案的背景信息...

【专利技术属性】
技术研发人员：张映雪，孟凡东，李鹏，周杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44