使用图和神经网络的极限分类处理制造技术

提供了用于学习分类器的系统和方法，该分类器用于在存在超过一百万个标签的极限分类下利用预测标签来注释文档

【技术实现步骤摘要】
【国外来华专利技术】使用图和神经网络的极限分类处理

技术介绍

[0001]传统系统通过从候选集合中确定推荐来提供推荐作为接收搜索查询的结果
。
这些系统分析接收到的搜索查询的词语或上下文并将其分类为数千个候选类中的一个或多个类
。
这些分类系统可以在各种应用中
(
例如，
web
搜索
、
产品推荐和查询重写等
)。
在实践中，当候选类的大小不够大时，推荐的准确性成为问题
。
例如，候选类集合
(
例如，数千个类
)
可以不必包括准确地从数百万个可能的推荐中反映期望推荐的候选
。
提高提供推荐的准确性需要更多
、
更多的候选类
。
实际上，在不牺牲训练或分类的性能的情况下，不是仅需要数千个而是需要数百万个候选类
。
因此，期望开发在分类系统的训练和预测阶段两者中具有足够性能的
、
更好满足这些要求的技术
。
[0002]关于这些和其他一般考虑做出了本文中公开的各方面
。
此外，虽然可以讨论相对特定的问题，但是应当理解，示例不应当限于解决在本公开的背景或其他地方中标识的特定问题
。

技术实现思路

[0003]根据本公开，通过基于文档和标签的联合图生成分类器集合来训练极限分类
(extreme classification)
系统来解决上述和其它问题
。
在各方面中，“文档”可以指对系统的输入，并且“标签”可以指系统的输出
。
[0004]本公开涉及在分类系统的训练过程期间基于文档和标签的联合图来生成分类器集合
。
此后，可以在预测阶段中使用经训练的分类系统来利用来自极大标签集合
(
例如，数百万个标签
)
的最相关的标签子集来注释给定文档
。
特别地，联合图包括作为节点的文档和标签的组合，以及作为边的至少一对文档和标签之间的关系作为边
。
对与节点相邻的节点执行图卷积以生成用于学习的文档表示
。
在各方面中，可以基于相对于联合图内的文档节点连续增加节点的“邻域”来生成文档节点的多个向量表示的集合
。
例如，相对于文档节点，第一节点可以与文档节点具有直接关系
(
或边
)
，第二节点可以与第一节点具有直接关系，并且第三节点可以与第二节点具有直接关系，等等
。
从文档节点的“第一跳”可以指包括第一节点的第一邻域层级，从文档节点的“第二跳”可以指包括第一节点和第二节点的第二邻域层级，从文档节点的“第三跳”可以指包括第一节点
、
第二节点和第三节点的第三邻域层级，等等
。
在各方面中，来自节点
(
或标签
)
的信息可以随着跳离文档节点的增加而变得更泛化，并且包括更多的相邻节点
(
或标签
)。
文档节点的向量表示可以基于离文档节点的“跳”(
或邻域层级
)
的数目而被不同地加权
。
在各方面中，联合图中特定跳数内的文档节点的向量表示可以相对于另一跳数内的文档节点的另一向量表示而被加权
。
[0005]特征标签生成器基于标签注意力针对极大数目的标签
(
例如，数百万个标签
)
中的每个标签生成文档表示的向量表示
。
每标签文档表示中的每个每标签文档表示包括对具有基于图中标签的位置
(
例如，头标签或尾标签
)
的指定跳数的文档表示中的文档表示的标签注意力
。
标签“注意力”将联合图中相邻节点的一个或多个特征加权，以生成针对标签的文档表示
。
基于标签注意力的特征标签生成器的输出是数百万个文档表示，针对数百万个标
签中的每个标签存在一个文档表示
。
在一些方面中，本公开然后基于作为输入的每标签文档表示来学习针对每个标签的单独分类器
。
在一些其它方面中，在训练和预测期间使用入围列表
(shortlist)
可以减少要处理的分类器的数目以用于改善性能
。
基于使用针对相应标签的极大数目的分类器的分类，针对给定查询的预测或推荐候选的准确性得到改善
。
[0006]所公开的技术包括分类系统的训练过程和预测过程
。
训练过程是本公开的主要关注点
。
该过程可以包括图卷积
、
特征变换
、
特征标签注意力和分类器生成中的一项或多项
。
图卷积包括基于离文档和标签的联合图内的相应文档节点的变化的跳数来生成文档的向量表示
。
特征变换包括基于具有跳跃连接的残差层来变换文档的向量表示
。
特征标签注意力针对每个标签生成单独的文档表示
。
每个标签根据节点是对应于联合图中的头标签还是尾标签而不同地关注邻域的不同跳
。
调整联合图中的用于标签注意力的相邻范围提供了足量的信息以提供标注文档时的准确性
。
[0007]一些示例包括用于训练分类器的方法
。
方法可以包括：接收联合图，其中联合图包括节点和有向边，并且其中每个节点是文档类型或是标签类型，基于联合图的图卷积，生成文档的多个多维向量表示，其中文档由联合图中的文档节点来表示，并且其中文档的每个多维向量表示与相邻节点离联合图中的文档节点的不同层级对应，使用神经网络的残差层基于文档的所生成的多个多维向量表示，来生成文档的经变换的多维向量表示，其中残差层包括残差网络和跳跃连接，使用标签注意力来生成文档的多个每标签多维向量表示，其中文档的每个每标签多维向量表示与多个标签中的标签对应，并且其中标签注意力将可变加权应用于文档的经变换的多维向量表示中的一个或多个经变换的多维向量表示，以生成每标签多维向量表示，训练针对多个标签中的每个标签的分类器，以及发送多个经训练的分类器以用于在标签预测过程中的部署
。
离文档节点的相邻节点的层级与离联合图的文档节点的跳数对应，并且其中针对尾标签的标签注意力对文档的基于相邻节点的更高层级而被生成的多维向量表示施加更高的加权
。
文档的多个多维向量表示包括基于离文档节点的一跳之内的节点的第一多维向量表示
、
基于离文档节点的两跳之内的节点的第二多维向量表示
、
基于离文档节点的三跳之内的节点的第三多维向量表示
。
图卷积包括：向量化文档和与离文档节点的预定数目的跳之内的节点相关联的标签的特征，以生成文档的多维向量表示
。
多个标签的数目至少是一百万，并且其中文档的多本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种训练分类器的计算机实现的方法，所述方法包括：接收联合图，其中所述联合图包括节点和有向边，并且其中每个节点是文档类型或是标签类型；基于所述联合图的图卷积，生成文档的多个多维向量表示，其中所述文档由所述联合图中的文档节点表示，并且其中所述文档的每个多维向量表示与相邻节点离所述联合图中的所述文档节点的不同层级对应；使用神经网络的残差层，基于所述文档的所生成的所述多个多维向量表示，来生成所述文档的经变换的多维向量表示，其中所述残差层包括残差网络和跳跃连接；使用标签注意力来生成所述文档的多个每标签多维向量表示，其中所述文档的每个每标签多维向量表示与多个标签中的标签对应，并且其中所述标签注意力将可变加权应用于所述文档的所述经变换的多维向量表示中的一个或多个经变换的多维向量表示，以生成所述每标签多维向量表示；训练针对所述多个标签中的每个标签的分类器；以及发送多个经训练的分类器以用于在标签预测过程中的部署
。2.
根据权利要求1所述的计算机实现的方法，其中相邻节点离所述文档节点的所述层级与离所述联合图中的所述文档节点的跳数对应，并且其中针对尾标签的所述标签注意力对所述文档的基于相邻节点的更高层级而被生成的多维向量表示施加更高的加权
。3.
根据权利要求1所述的计算机实现的方法，其中所述文档的所述多个多维向量表示包括基于离所述文档节点一跳之内的节点的第一多维向量表示
、
基于离所述文档节点两跳之内的节点的第二多维向量表示
、
基于离所述文档节点三跳之内的节点的第三多维向量表示
。4.
根据权利要求1所述的计算机实现的方法，其中所述图卷积包括：向量化文档和与离所述文档节点的预定数目的跳之内的节点相关联的标签的特征，以生成所述文档的所述多维向量表示
。5.
根据权利要求1所述的计算机实现的方法，其中所述多个标签的数目至少是一百万，并且其中所述文档的所述多个每标签多维向量表示的数目至少是一百万
。6.
根据权利要求1所述的计算机实现的方法，所述方法还包括：部署所述多个经训练的分类器以用于标签预测过程；接收文档；使用所述多个经训练的分类器的子集来生成针对所接收的所述文档的推荐候选标签的集合；以及发送所生成的所述推荐候选标签作为对所述文档的响应
。7.
根据权利要求1所述的计算机实现的方法，其中所述文档包括以下至少一项：
web
搜索应用中的查询，赞助搜索应用中的查询，产品推荐应用中的产品，或者内容推荐应用中的内容标题
。8.
根据权利要求1所述的计算机实现的方法，其中所述多个标签中的每个标签包括以下之一：
作为所述
web
搜索应用中的搜索结果的网页，所述赞助搜索应用中的定向内容片段，所述产品推荐应用中的另一产品，或者内容推荐应用中的另一内容标题
。9.
一种用于学习针对极限分类处理中的标签的分类器的系统，所述系统包括：处理器；以及存储器，存储计算机可执行指令，所述计算机可执行指令在由所述处理器执行时使所述系统：接收联合图，其中所述联合图包括节点和有向边，并且其中每个节点是文档类型或是标签类型；基于所述联合图的图卷积，生成文档的多个多维向量表示，其中所述文档由所述联合图中的文档节点表示，并且其中所述文档的每个多维向量表示与相邻节点离所述联合图中的所述文档节点的不同层级对应...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：