深度问题回答系统中的问题分类和特征映射的方法和系统技术方案

通过分类深度问题回答系统接收的第一事例，并且通过在训练深度问题回答系统回答第一事例时，识别第一事例中的第一特征，为第一特征计算第一特征分值，（所述第一特征分值指示在生成对第一事例的正确响应过程中第一特征的相关性，）以及一旦确定第一特征分值超过相关性阈值，则在回答被分类第一事例的过程中将第一特征识别为相关，本发明专利技术公开在深度问题回答系统中识别相关特征的系统和方法。此外，本发明专利技术公开深度问题回答系统生成对第一事例的响应的系统和方法，以及识别出在深度问题回答系统回答问题所使用的证据中的变化的系统和方法。

【技术实现步骤摘要】
深度问题回答系统中的问题分类和特征映射的方法和系统
技术介绍
这里所公开的实施例涉及计算机软件领域。更具体地，这里所公开的实施例涉及在深度问题回答系统中实现问题分类与特征映射、部分和并行管道处理以及智能证据分类与通知的计算机软件。
技术实现思路
在一方面，通过分类深度问题回答系统接收的第一事例（case），并且通过在训练深度问题回答系统回答第一事例时，识别第一事例中的第一特征，为第一特征计算第一特征分值（第一特征分值指示在生成对第一事例的正确响应的过程中第一特征的相关性），以及一旦确定第一特征分值超过相关性阈值，则在回答被分类的第一事例的过程中将第一特征识别为相关，这里所公开的实施例提供在深度问题回答系统中识别相关特征的系统和方法。在另一方面，通过确定第一事例相对于第二事例的相似度分值超过相似度阈值，通过识别出具有超过相关性阈值的第一相关性分值的第二事例的第一特征，通过为不具有第一特征的第一事例识别出第一候选回答，以及通过在生成第一事例的响应过程中抑制不分析第一候选回答，从而减少深度问题回答系统的处理量，这里所公开的实施例提供减少深度问题回答系统生成第一事例的响应所需要的处理量的系统和方法。在另一方面，通过识别出与特征有关的第一证据，深度问题回答系统已经将所述特征识别为与回答多种类型问题中的第一类问题相关，以及响应于：（i）检测到第一证据中的变化，并且（ii）确定针对第一类问题的第一问题所生成的第一响应的置信度分值超过置信度阈值，基于被改变的第一证据为第一问题生成被更新的响应，这里所公开的实施例提供识别在深度问题回答系统回答问题所使用的证据中的变化的系统和方法。附图说明以如此方式实现以上所列举方面并且能够被详细理解，通过参照附图可以具有本专利技术实施例的更具体描述（以上已经简要总结）。然而注意到，附图仅示出本专利技术的典型实施例，并且因此不被认为是限制本专利技术的范围，因为本专利技术可以允许其它等效的实施例。图1是根据这里所公开实施例示出在深度问题回答系统中用于问题分类和特征映射、用于部分和并行管道处理和/或用于智能证据分类和通知的系统的框图。图2是根据这里所公开的一个实施例示出用于通过深度问题回答系统生成对事例的响应的方法的流程图。图3是根据这里所公开的一个实施例示出用于训练深度问题回答系统分类问题以及映射特征的方法的流程图。图4是根据这里所公开的一个实施例示出用于监视证据以检测证据中的变化的方法的流程图。图5是根据这里所公开的一个实施例示出用于使用部分和并行管道执行来处理问题的方法的流程图。图6是根据这里所公开的一个实施例示出深度问题回答系统的组件的框图。具体实施方式这里所公开的实施例训练深度问题回答系统（深度QA系统）分类问题、识别在生成对那些类问题的回答的过程中最相关的特征（或注释器），并且存储识别所述关系的映射。可以基于类型、与问问题的人或实体有关的信息、以及其它语境信息分类问题。一旦识别出针对每一类问题的高度相关特征，当回答相同或相似类型的另一问题时，这里所公开的实施例可以寻找这些特征。如果所述特征不是针对相似问题的候选回答的部分，则可以跳过所述候选回答的处理，以便改善生成对那个事例的响应所需要的时间和处理量。此外，这里所公开的实施例监视被链接到高度相关特征的证据的变化，所述变化可能严重影响以前基于未变化证据所生成的回答中的置信度。一旦检测到证据中的变化，则深度QA系统可以重新处理旧问题或者生成新问题，以测试证据中的变化是否导致正确回答中的变化。如果证据变化影响了对它们问题的正确回答，则深度QA系统也可以通知以前问问题的用户。一般来说，这里所公开的实施例解决了深度QA系统中针对常见问题和回答分析的需要。在近实时信息和回答非常关键的金融服务、社交网络和市场营销中强调这种需要。在此环境中，每一秒钟都可能有多个用户提问相似问题，并且能够被剔除的任何处理都可以提高深度QA系统的性能。可以将这里所使用的特征定义为被用于识别证据的概念，所述证据被用于对提交给深度问题回答系统的事例生成响应。特征可以是被计算或生成的分值，或者可以是以特定方式形成的特性。例如，特征可以测量一些特性的存在，或者特征可以设法评估针对当前问题的给定候选回答的整体精度。可以使用个体特征与机器学习相结合以确定给定候选回答的最终分值。事例（也被称为问题）可以包含多个问题，它可以是被提交给深度QA系统的询问。深度QA系统可以通过单个分析“管道”处理事例。管道可以表示对问题文本和候选回答两者（即从语料库的文件中提取的文本段落）执行各种分析程序或引擎，以便推断出可能的正确回答。典型的管道可以从问题分析开始，所述问题分析分析和注释在事例中提出的每个问题，以识别可以对其进行搜索的关键属性。管道的下一步可以包括主搜索，其包括使用来自问题分析阶段的关键属性搜索语料库中的文件。然后，深度QA系统可以生成候选回答，其可以包含利用候选回答中的段落从搜索结果中识别出关键匹配段落。然后，深度QA系统可以为候选回答检索支持证据。最后，深度QA系统可以通过给可以从中选出正确回答的各种候选回答评分来完成管道。可以针对每个域或问题空间创建唯一管道（例如，将不同的管道用于支持癌症治疗、保险索赔、诊断、以及一般知识等）。实际上，分析引擎本身对于特定域（例如，肿瘤阶段或尺寸的识别、药物的识别、潜在药物相互作用等）可以是唯一的。管道内的问题和回答分析也可以包括例如被用于识别文本内部的深度语义关系的复杂自然语言处理算法。诸如IBM的沃森深度QA系统的评分阶段可以调用各种评分算法以帮助推断事例的正确回答（或者响应）。评分算法可以生成一个或多个特征分值以指示它在其回答中的置信度如何。深度QA系统也可以利用训练阶段来学习哪个特征或特征组合在预测不同类型问题的正确回答上是最佳的。一旦已经适当训练了深度QA系统，则流经管道的后续问题可以利用用于发现最可能正确回答的机器学习模型。以下参照本专利技术实施例。然而应当理解，本专利技术不局限于所描述的特定实施例。代替地，仔细考虑以下特征和元件的任意组合（是否涉及不同实施例）以实现和实践本专利技术。此外，虽然本专利技术实施例相对于其它可能方案和/或相对于现有技术可以获得优势，但是通过给定实施例是否获得特定优势不是本专利技术的限制。因此，以下的方面、特点、实施例和优点仅是说明性的，并且不被认为是所附权利要求书的要素或限制，除非在权利要求书中明确表述。类似地，“本专利技术”的指代不应当被理解为这里所公开的任意专利技术主题的一般化，并且不应当被认为是所附权利要求书的要素或限制，除非在权利要求书中明确表述。所属
的技术人员知道，本专利技术的各个方面可以实现为系统、方法或计算机程序产品。因此，本专利技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、驻留软件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本专利技术的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外本文档来自技高网...

【技术保护点】
一种在深度问题回答系统中识别相关特征的方法，包括：分类由深度问题回答系统接收的第一事例；以及在训练深度问题回答系统回答第一事例时：识别第一事例中的第一特征，其中所述第一特征包括所述第一事例的变量；所述变量的可能的值包括以下一个或多个：(i)参数值；(ii)当前值，以及(iii)专家的意见；识别出与所述第一特征有关的第一证据；为所述第一特征计算第一特征分值，其中第一特征分值指示在生成对第一事例的正确响应过程中第一特征的相关性；计算第一事例和第二事例的相似度分值；以及一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应的过程中将第一特征识别为相关；响应于深度问题回答系统接收到第二事例：分类第二事例；计算第一事例和第二事例的相似度分值；以及一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应的过程中将第一特征识别为相关。

【技术特征摘要】
2012.12.17 US 13/717,043;2012.12.17 US 13/717,105;1.一种在深度问题回答系统中识别相关特征的方法，包括：分类由深度问题回答系统接收的第一事例；以及在训练深度问题回答系统回答第一事例时：识别第一事例中的第一特征，其中所述第一特征包括所述第一事例的变量；所述变量的可能的值包括以下一个或多个：(i)参数值；(ii)当前值，以及(iii)专家的意见；识别出与所述第一特征有关的第一证据；为所述第一特征计算第一特征分值，其中第一特征分值指示在生成对第一事例的正确响应过程中第一特征的相关性；计算第一事例和第二事例的相似度分值；以及一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应的过程中将第一特征识别为相关；响应于深度问题回答系统接收到第二事例：分类第二事例；计算第一事例和第二事例的相似度分值；以及一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应的过程中将第一特征识别为相关。2.如权利要求1所述的方法，其中，相似度分值是基于至少以下之一：(i)第一事例的分类和第二事例的分类；以及(ii)第一事例的语境和第二事例的语境。3.如权利要求1所述的方法，其中，第一事例和第二事例的分类是基于至少以下之一：(i)向深度问题回答系统提交各个事例的用户的属性；(ii)各个事例中的问题的内容；以及(iii)各个事例中的问题类型。4.如权利要求3所述的方法，其中，用户的属性从以下当中选择：(i)用户的职分、(ii)用户的隶属、(iii)用户的专长、以及(iv)用户的预先定义的偏好组。5.如权利要求1所述的方法，进一步包括：存储第一特征与第一事例之间的关系，其中，所述关系指示第一特征在回答第一事例中是相关的。6.如权利要求1所述的方法，其中，第一特征分值是基于由深度问题回答系统使用第一特征检索出的许多相关条目的支持证据。7.如权利要求1所述的方法，其中，第一事例包含向深度问题回答系统提交的至少一个问题，其中，第一特征包含至少以下之一：至少一个问题的(i)类型、(ii)主题、(iii)变量、以及(iv)语境。8.一种在深度问题回答系统中识别相关特征的系统，操作包括：模块，用于分类深度问题回答系统接收的第一事例；以及模块，在训练深度问题回答系统回答第一事例时，用于识别第一事例中的第一特征，其中所述第一特征包括所述第一事例的变量；所述变量的可能的值包括以下一个或多个：(i)参数值；(ii)当前值，以及(iii)专家的意见；识别出与所述第一特征有关的第一证据；通过一个或多个计算机处理器的操作为第一特征计算第一特征分值，其中，第一特征分值指示在生成对第一事例的正确响应过程中第一特征的相关性；以及一旦确定第一特征分值超过相关性阈值，则在回答被分类的第一事例过程中将第一特征识别为相关；模块，响应于深度问题回答系统接收到第二事例，用于分类第二事例；计算第一事例和第二事例的相似度分值；以及一旦确定相似度分值超过指定的相似度阈值，则在生成对第二事例的正确响应过程中将第一特征识别为相关。9.如权利要求8所述的系统，其中，相似度分值是基于至少以下之一：(i)第一事例的分类和第二事例的分类、以及(ii)第一事例的语境和第二事例的语境。10.如权利要求8所述的系统，其中，第一事例和第二事例的分类是基于至少以下之一：(i)向深度问题回答系统提交各个事例的用户的属性、(ii)各个事例中的问题内容、以及(iii)各个事例中的问题类型。11.如权利要求10所述的系统，其中，用户的属性从以下当中选择：(i)用户的职分、(ii)用户的隶属、(iii)用户的专长、以及(iv)用户的预先定义的偏好组。12.如权利要求8所述的系统，进一步包括：存储第一特征与第一事例之间的关系，其中，所述关系指示在回答第一事例的过程中第一特征是相关的。13.如权利要求8所述的系统，其中，第一特征分值是基于深度问题回答系统使用第一特征检索出的许多相关条目的支持证据。14.如权利要求8所述的系统，其中，第一事例包含向深度问题回答系统提交的至少一个问题，其中，第一特征包含至少以下之一：至少一个问题的(i)类型、(ii)主题、(iii)变量、以及(iv)语境。15.一种减少深度问题回答系统生成对第一事例的响应所需要的处理量的方法，包括：确定第一事例相对于第二事例的相似度分值超过相似度阈值；识别出具有超过相关性阈值的第一相关性分值的第二事例的第一特征，其中所述第一相关性分值指示第一特征在生成对第二事例的正确响应过程中是相关的；基于相似性分值和所述第一相关性分值，确定所述第一特征和生成对所述第一事例的正确回答相关；为不具有第一特征的第一事例识别出第一候选回答；以及在生成对第一事例的响应过程中抑制分析第一候选回答，从而减少深度问题回答系统的处理量。16.如权利要求15所述的方法，进一步包括：一旦确定第二候选回答具有第一特征，则在生成对第一事例的响应过程中分析第二候选回答。17.如权利要求15所述的方法，其中，抑制分析第一候选回答包括：抑制执行对第一候选回答的自然语言处理；抑制确定第一候选回答是否具有第二特征，其中，深度问题回答系统已经识别出第二特征具有超过相关性阈值的第二相关性分值；抑制检索针对第一候选回答的支持证据；以及抑制对针对第一候选回答的支持证据评分。18.如权利要求15所述的方法，其中，所述相关性分值指示第一特征在生成对第二事例的正确响应过程中是相关的。19.如权利要求15所述的方法，进一步包括：一旦确...

【专利技术属性】
技术研发人员：AT克拉克，MG梅格里安，JE皮特里，RJ史蒂文斯，
申请(专利权)人：东方概念有限公司，
类型：发明
国别省市：中国香港,81