本文描述了用于在至少两个阶段中对候选结果项进行排名的技术。在第一阶段，该技术使用第一基于注意力的神经网络来确定输入查询的每个词元应该给予每个候选结果项的词元的注意力程度。在第二阶段，该技术使用排名子系统对第一阶段所提供的输出结果执行按列表推断，以生成建立候选结果项的相关性顺序的多个排名得分。排名子系统可以使用第二基于注意力的神经网络来执行按列表推断。根据一些实现，该技术被配置为处理具有不同种类和组合的特征的查询和候选结果项。例如，一种输入查询可以包括基于文本的特征、基于结构的特征和基于地理的特征。地理的特征。地理的特征。
【技术实现步骤摘要】
【国外来华专利技术】使用基于注意力的排名系统的查询处理
技术介绍
[0001]一些搜索引擎使用采用阶段流水线的过程来对用户查询进行响应。在一个阶段，搜索引擎标识一组与用户的查询相匹配的候选文档。在后续阶段，搜索引擎使用排名系统基于其评估的与查询的相关性来对候选文档进行排序(或重新排序)。排名系统可以使用机器训练模型来执行其任务。虽然这样的模型可能会提高排名系统的输出结果的准确性，但是其开发和使用也可能会带来技术挑战。
技术实现思路
[0002]本文描述了用于在至少两个阶段中对候选结果项进行排名的技术。在第一阶段中，该技术使用第一基于注意力的神经网络来确定输入查询的每个词元应该给予每个候选结果项的词元的注意力量。词元是指所标识的文本片的任何部分。例如，在查询的情况下，查询词元可以对应于查询中的单词、单词片段等和/或从单词或片段等导出的任何信息。在第二阶段中，该技术使用排名子系统对第一阶段所提供的输出结果执行按列表推断，以产生多个排名得分。排名得分建立了候选结果项的相关性顺序。
[0003]根据一些实现，排名子系统使用第二基于注意力的神经网络来执行按列表推断。第二基于注意力的神经网络对由第一基于注意力的神经网络所提供的输出结果使用自注意力。
[0004]根据一些实现，排名子系统使用评分神经网络来处理由第二基于注意力的神经网络所提供的输出结果。评分神经网络产生多个排名得分。
[0005]根据一些实现，该技术被配置为处理与不同种类和组合的特征相关联的查询和候选结果项。例如，查询可以包括基于文本的特征、基于结构的特征、基于地理的特征等的任意组合。在一些实现中，第一基于注意力的神经网络基于第一特征集合进行操作，而第二基于注意力的神经网络基于第一特征集合进行操作，而第二基于注意力的神经网络和评分神经网络对扩展的特征集合进行操作。在一些实现中，扩展的特征集合具体地包括传达查询的地理上下文的特征(其在由第一基于注意力的神经网络所执行的处理中被省略)。
[0006]该技术具有有益的技术特征。例如，根据一个技术优点，该技术可以消除或减少其他学习排名(LTR)模型中常见的手动制作的特征的使用。另一个技术优点是，该技术可以一次性地生成排名得分。这方面使得该技术能够有效地消耗计算资源并快速产生其输出结果。根据另一个技术优点，该技术提供了一种排名解决方案，其可以被应用于多种不同的环境和多种不同类型的查询，而减少(无需)对其代码进行修改。这方面有助于提高技术的灵活性和可扩展性。例如，只要该技术可以处理多样化的查询(从其特征空间组成的角度来看)，该技术提供的解决方案在其应用中就比其他系统更通用。是在说明而非限制的精神下在此处提及这些可能的技术益处；该技术还可能带来其他益处。
[0007]上述概述的技术可以被表现为各种类型的系统、设备、组件、方法、计算机可读存储介质、数据结构、图形用户界面呈现、制造品等等。
[0008]提供本
技术实现思路
是为了以简化的形式介绍在下面的详细描述中进一步描述的一
系列概念。本
技术实现思路
并不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来限制所要求保护的主题的范围。
附图说明
[0009]图1示出了包括基于注意力的排名系统的搜索引擎的概述。
[0010]图2示出了图1的排名系统的附加说明性细节。
[0011]图3提供了用于在图1和图2的排名系统中使用的第一基于注意力的神经网络的操作的概述。
[0012]图4提供了用于在图1和图2的排名系统中使用的第二基于注意力的神经网络的操作的概述。
[0013]图5示出了关于第一基于注意力的神经网络的附加说明性细节。
[0014]图6示出了关于第二基于注意力的神经网络的附加说明性细节。
[0015]图7是示出了解释图1和图2的排名系统的一种操作方式的过程的流程图。
[0016]图8是示出了解释图1和图2的排名子系统的一种操作方式的过程的流程图。
[0017]图9示出了可以被用来实现图1中所示的系统的计算设备。
[0018]图10示出了可以被用来实现前述附图中示出的特征的任何方面的说明性类型的计算设备。
[0019]在整个公开内容和附图中使用相同的数字来指代相似的组件和特征。100系列编号是指最初在图1中发现的特征，200系列编号指最初在图2中发现的特征，300系列编号指最初在图3中发现的特征，等等。
具体实施方式
[0020]本公开内容被组织如下。A部分描述了响应于查询的提交而对候选结果项进行排名的排名系统，其中查询可以通过不同种类和组合的特征来描述。B部分阐述了解释A部分的排名系统的操作的说明性方法。而C部分描述了可以被用来实现A部分和B部分中描述的特征的任何方面的说明性计算功能性。
[0021]A.说明性排名系统
[0022]开发者通常会在排名系统中使用机器训练模型来提高其结果的准确性。但使用传统的机器训练模型也可能会施加成本。例如，一些传统的排名系统需要使用手工制作的特征，这使得它们难以开发和维护。例如，在梯度增强决策树(GBDT)的情况下就是如此。附加地或备选地，一些传统排名系统消耗相对大量的计算资源和/或施加显著的延迟相关成本。附加地或备选地，一些传统的排名系统被开发来服务于相对狭窄的使用领域，并且不能轻易地适应新的环境。例如，一些传统的排名系统被开发来专门处理基于文本的查询和基于文本的候选结果项。是在说明而非限制的精神下在此处提及这些缺点；传统的排名系统可能还存在其他缺点。
[0023]图1提供了包括排名系统104的搜索引擎102的概述，排名系统104提出了对一个或多个上述技术问题的解决方案。在一些上下文中，搜索引擎102从终端用户(“用户”)接收查询，该查询可以由一个或多个搜索项组成。例如，用户可以经由安装在用户计算设备上的浏览器应用或者通过一些其他应用接口来提交查询。搜索引擎102标识与查询匹配的一个或
多个结果项。搜索引擎102可以经由结果页面向用户通知(一个或多个)结果项，例如作为结果小片的排名列表。在其他上下文中，搜索引擎102可以接收描述用户的当前情形的上下文信号，而不必接收由用户显式输入的基于文本的查询。例如，上下文信号可以标识用户当前正在查看的网页。搜索引擎102找到与上下文信号匹配的一个或多个结果项。搜索引擎102可以以不同的方式通知用户这些结果项，例如，经由用户当前正在查看的页面的边缘中的广告或产品建议。为此，本文所称的“搜索引擎”旨在涵盖主要被用来在任何上下文中向用户提供推荐的技术。
[0024]考虑到以上几点，“查询”指的是在任何情况下被转发到搜索引擎102的任何信息。“结果项”指的是搜索引擎102标识为与查询匹配的任何记录项。结果项还可以与特定实体相关联，诸如特定地址、地区、企业、个人等。在该解释中，搜索引擎102的目标是发现与查询最匹配的实体，并且按相关性对这些实体进行排序。正如本文中所使用的术语，词元是指查询或结果项的任何部分。在查询的情况下，查询词元可以对应于查询项、查询项片段等和/或从查询项、查本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种使用一个或多个计算设备响应于查询对多个候选结果项进行排名的方法，包括：获取所述查询以及匹配所述查询的所述多个候选结果项，所述查询包括一个或多个词元，并且每个候选结果项包括一个或多个词元；使用第一基于注意力的神经网络生成分别与所述多个候选结果项相对应的多个查询到结果相似度信息实例，每个查询到结果相似度信息实例表达所述查询的每个词元应该向特定候选结果项的每个词元给予的注意力程度；使用排名子系统基于所述多个查询到结果信息实例来生成多个排名得分，所述多个排名得分标识所述多个候选结果项与所述查询的相关性的顺序；以及基于所述多个得分来至少标识要被呈现给用户的最高排名的候选结果项。2.根据权利要求1所述的方法，其中所述第一基于注意力的神经网络使用原始特征集合来描述所述查询和所述多个候选结果项，其中由所述第一基于注意力的神经网络生成的所述多个查询到结果信息实例是原始查询到结果信息实例，其中由所述排名子系统执行的处理包括：将所述多个原始查询到结果相似度信息实例与关于所述查询的补充特征信息进行组合，以生成多个相应的增强相似度信息实例；使用第二基于注意力的神经网络、使用自注意力来生成多个结果到结果上下文信息实例，每个结果到结果上下文信息实例表达特定增强相似度信息实例应该向其他增强相似度信息实例给予的注意力程度；以及使用评分神经网络来将所述多个结果到结果上下文信息实例映射到所述多个相应排名得分中。3.根据权利要求2所述的方法，其中所述原始特征集合至少包括描述与所述查询和每个候选结果项相关联的文本的基于文本的特征。4.根据权利要求3所述的方法，其中所述原始特征集合还至少包括描述所述查询和每个候选结果项的结构组成的基于结构的特征。5.根据权利要求1所述的方法，其中所述第一基于注意力的神经网络对以下各项进行操作：与所述查询相关联的一个或多个查询嵌入信息实例；以及与每个候选结果项相关联的一个或多个结果嵌入信息实例。6.根据权利要求5所述的方法，其中所述方法通过以下操作来生成所述一个或多个查询嵌入信息实例：标识所述查询的所述一个或多个词元，以总体生成一个或多个查...
【专利技术属性】
技术研发人员：张驰群，M，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。