基于知识的信息检索系统评估技术方案

本发明专利技术涉及基于知识的信息检索系统评估。实施例提供了一种评估一个或多个IR系统的计算机实现的方法，包括：由处理器将已预先建立索引的基于知识的文档提供给已预先训练的语句识别模型；由语句识别模型从已预先建立索引的基于知识的文档中识别预定数量的值得查询语句，其中值得查询语句基于每个值得查询语句的预测概率值进行排名；由语句识别模型将值得查询语句提供给已预先训练的查询生成模型；由查询生成模型针对每个值得查询语句生成查询；以及由处理器使用所生成的查询评估所述一个或多个IR系统，其中经由所述一个或多个IR系统执行一个或多个搜索，并且在包括已预先建立索引的基于知识的文档的一组基于知识的文档中执行所述一个或多个搜索。

【技术实现步骤摘要】
基于知识的信息检索系统评估
本公开总体上涉及能够经由自动生成的自然语言查询来评估一个或多个信息检索(IR)系统的系统、方法和计算机程序产品。
技术介绍
一般而言，信息检索(informationretrieval，IR)系统帮助用户从诸如网页、文档、书籍等已建立索引的内容的储存库中快速定位相关信息。存在一种类型的IR系统，即，基于知识的IR系统，它能够通过搜索已建立索引的知识库(诸如Wikipedia和DBpedia)来回答问题或识别相关的事实知识。IR系统技术的进步需要使用更大测试集开发更加自动化的评估方法，使得能够执行现有算法之间的更有意义的比较。IR系统的现有评估方法能够分为两类：基于用户的评估以及系统评估。在基于用户的评估中，要求测试主体(例如用户)使用多个不同的IR系统执行搜索，并判定哪个IR系统具有更好的性能。基于用户的评估更多地集中在IR系统的总体结果上，诸如每个IR系统能够多好地使用户能够回答问题或满足信息需求。然而，基于用户的评估既费时又昂贵。也会由于例如主体训练、主观性、添加到评估过程中的协方差而承受不准确地完成的高风险。与基于用户的评估相比，系统评估更加自动化且成本更低。系统评估需要文档的语料库、一组查询以及包括查询-文档对的列表的一组相关性判断，详细说明人类专家事先手动评定的查询-文档对的相关性。系统评估方法的一个问题是，测试查询通常不是手动创建的。换句话说，测试查询不是用自然语言编写的。例如，模拟关键字查询的标题以及模拟长查询的描述和叙述是在特定文档的上下文中使用非常形式化的语言创建的。形式语言的测试查询与用自然语言手动创建的测试查询不同。因此，期望一种能够经由自动生成的自然语言查询来评估IR系统的新的评估方法。
技术实现思路
一种数据处理系统中的计算机实现的方法，该数据处理系统包括处理器以及包括指令的存储器，该指令由所述处理器执行以使所述处理器实现评估一个或多个IR系统的方法，该方法包括：由所述处理器将已预先建立索引的基于知识的文档提供给已预先训练的语句识别模型；由所述语句识别模型从所述已预先建立索引的基于知识的文档中识别预定数量的值得查询(query-worthy)语句，其中所述值得查询语句基于每个值得查询语句的预测概率值进行排名；由所述语句识别模型将所述值得查询语句提供给已预先训练的查询生成模型；由所述查询生成模型针对每个值得查询语句生成查询；以及由所述处理器使用所生成的查询来评估所述一个或多个IR系统，其中，经由所述一个或多个IR系统执行一个或多个搜索，并且在包括所述已预先建立索引的基于知识的文档的一组基于知识的文档中执行所述一个或多个搜索。实施例还提供一种评估一个或多个IR系统的方法，该方法还包括：由所述处理器使用正确标注(groundtruth)训练所述语句识别模型，其中所述正确标注包括多个正确标注元组，每个正确标注元组包括第二基于知识的文档、从所述第二基于知识的文档中识别出的多个第二值得查询语句以及多个第二查询，其中每个第二查询对应于一个第二值得查询语句；以及由所述处理器使用所述正确标注训练所述查询生成模型。实施例还提供一种评估一个或多个IR系统的方法，该方法还包括：由所述处理器通过第一轮众包(crowdsourcing)任务收集所述正确标注，其中所述多个第二值得查询语句由一个或多个众包工作者(crowdworker)识别，并且所述多个第二查询由所述一个或多个众包工作者用自然语言编写。实施例还提供一种评估一个或多个IR系统的方法，该方法还包括：由所述处理器通过第二轮众包任务验证所述正确标注，其中多个验证语句由所述一个或多个众包工作者识别，并且与所述多个第二值得查询语句进行比较，如果所述多个验证语句与所述多个第二值得查询语句一致，那么所述多个第二值得查询语句被包括到所述正确标注中。实施例还提供一种评估一个或多个IR系统的方法，其中，所述语句识别模型是使用一个或多个特征训练的，该一个或多个特征包括所述第二基于知识的文档内的每个值得查询语句的位置、每个值得查询语句中的多个实体、知识概念的类型以及所述知识概念的多个属性。实施例还提供一种评估一个或多个IR系统的方法，其中，所述知识概念的多个属性是经由Freebase获得的。实施例还提供一种评估一个或多个IR系统的方法，其中，所述查询是使用多个预定义模板生成的。实施例还提供一种评估一个或多个IR系统的方法，其中，所述查询生成模型是序列到序列(sequencetosequence)模型。实施例还提供一种评估一个或多个IR系统的方法，其中，经由包括precision@1、recall@5和recall@10的一个或多个矩阵来评估所述一个或多个IR系统。在另一个说明性实施例中，提供了一种计算机程序产品，该计算机程序产品包括具有计算机可读程序的计算机可用或可读介质。所述计算机可读程序当在处理器上执行时，使所述处理器执行以上关于方法说明性实施例概述的操作中的各种操作和组合。在另一个说明性实施例中，提供了一种系统。该系统可以包括被配置为执行以上关于方法说明性实施例概述的操作中的各种操作和组合的处理器。根据以下参考附图进行的说明性实施例的详细描述，本公开的其他特征和优点将变得清楚。附图说明结合附图阅读以下详细描述将最好地理解本专利技术的前述和其他方面。为了说明本专利技术，在附图中示出了当前优选的实施例，然而，应该理解的是，本专利技术不限于所公开的具体手段。附图中包括以下各图：图1图示了根据本文中的实施例的详细描述“XX·XXXX”(某名人名字)的示例性WIKI页面；图2描绘了根据本文中的实施例的包括IR系统评估设备201的示例性IR系统评估体系架构200的框图；图3图示了根据本文中的实施例的用于自动查询生成的示例性编码器-解码器LSTM300；图4是图示根据本文中的实施例的评估一个或多个IR系统的方法400的示例性流程图；以及图5是可以实现说明性实施例的各方面的示例性数据处理系统500的框图。具体实施方式本专利技术的实施例可以是系统、方法和/或计算机程序产品。该计算机程序产品可以包括其上具有计算机可读程序指令的(一个或多个)计算机可读存储介质，用于使处理器执行本专利技术的各方面。在实施例中，一种系统、方法和计算机程序产品能够使得能够经由一组自动生成的查询来评估一个或多个基于知识的IR系统。该系统、方法和计算机程序产品使得IR开发者或用户能够以自然语言评估基于知识的IR系统。在实施例中，由特定IR系统(例如搜索引擎)提供基于知识的文档的语料库并对其建立索引。正确标注收集器能够从已建立索引的文档的语料库中收集自然语言查询、候选语句(即，可能包含响应自然语言查询的回答的语句)以及包含候选语句的已建立索引的文档作为正确标注。使用基于众包的方法收集正确标注。在通过收集到的正确标注训练之后，语句选择器能够基于一组特征从新的基于知识的文档(例如WIKI页面)中识别前N个候选语句(“N”是预定数目)。在实施例中本文档来自技高网...

【技术保护点】
1.一种数据处理系统中的计算机实现的方法，所述数据处理系统包括处理器以及包括指令的存储器，所述指令由所述处理器执行，以使所述处理器实现评估一个或多个IR系统的方法，所述方法包括：/n由所述处理器将已预先建立索引的基于知识的文档提供给已预先训练的语句识别模型；/n由所述语句识别模型从所述已预先建立索引的基于知识的文档中识别预定数量的值得查询语句，其中，所述值得查询语句基于每个值得查询语句的预测概率值进行排名；/n由所述语句识别模型将所述值得查询语句提供给已预先训练的查询生成模型；/n由所述查询生成模型针对每个值得查询语句生成查询；以及/n由所述处理器使用所生成的查询来评估所述一个或多个IR系统，其中，经由所述一个或多个IR系统执行一个或多个搜索，并且在包括所述已预先建立索引的基于知识的文档的一组基于知识的文档中执行所述一个或多个搜索。/n

【技术特征摘要】
20190710 US 16/507,7701.一种数据处理系统中的计算机实现的方法，所述数据处理系统包括处理器以及包括指令的存储器，所述指令由所述处理器执行，以使所述处理器实现评估一个或多个IR系统的方法，所述方法包括：
由所述处理器将已预先建立索引的基于知识的文档提供给已预先训练的语句识别模型；
由所述语句识别模型从所述已预先建立索引的基于知识的文档中识别预定数量的值得查询语句，其中，所述值得查询语句基于每个值得查询语句的预测概率值进行排名；
由所述语句识别模型将所述值得查询语句提供给已预先训练的查询生成模型；
由所述查询生成模型针对每个值得查询语句生成查询；以及
由所述处理器使用所生成的查询来评估所述一个或多个IR系统，其中，经由所述一个或多个IR系统执行一个或多个搜索，并且在包括所述已预先建立索引的基于知识的文档的一组基于知识的文档中执行所述一个或多个搜索。


2.如权利要求1所述的方法，还包括：
由所述处理器使用正确标注来训练所述语句识别模型，其中，所述正确标注包括多个正确标注元组，每个正确标注元组包括第二基于知识的文档、从所述第二基于知识的文档中识别出的多个第二值得查询语句以及多个第二查询，其中，每个第二查询对应于第二值得查询语句；以及
由所述处理器使用所述正确标注来训练所述查询生成模型。


3.如权利要求2所述的方法，还包括：
由所述处理器通过第一轮众包任务收集所述正确标注，其中，所述多个第二值得查询语句由一个或多个众包工作者识别，并且所述多个第二查询由所述一个或多个众包工作者用自然语言编写。


4.如权利要求3所述的方法，还包括：
由所述处理器通过第二...

【专利技术属性】
技术研发人员：刘喆，尹培风，J·马哈姆德，R·K·T·阿卡拉君，郭玙璠，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US