文档间注意力机制制造技术

本文档涉及使用诸如神经网络的框架的自然语言处理。一个示例方法涉及获取第一文档和第二文档，并且将注意力从第一文档传播到第二文档。该示例方法还涉及至少基于该传播来产生第二文档中的单独单词的上下文化的语义表示。上下文化的语义表示可以提供用于执行一个或多个自然语言处理操作的基础。多个自然语言处理操作的基础。多个自然语言处理操作的基础。

【技术实现步骤摘要】
【国外来华专利技术】文档间注意力机制

技术介绍

[0001]搜索引擎相当擅长响应许多不同类型的查询。例如，现有的搜索算法针对大多数查询提供了良好的精确度和针对查询的召回，即，由搜索返回的文档通常与查询相关，并且遗漏的相关文档相对较少。然而，在某些情况下，不一定在针对搜索查询返回的单个文档中找到查询的回答。准确回答涉及对多个不同文档进行推理的查询的努力具有有限的成功。

技术实现思路

[0002]提供本
技术实现思路
是为了以简化形式介绍一组概念，这些概念将在下面的详细描述中进一步描述。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
[0003]本说明书一般涉及用于自然语言处理的技术。一个示例包括可以在计算设备上执行的方法或技术。该方法或技术可以包括接收查询并取回与该查询相关的多个结果文档。该方法或技术还可以包括通过链接单独结果文档来建立证据图。该方法或技术还可以包括通过从被链接到证据图中的第二结果文档的第一结果文档传播文档间注意力，来获取针对第二结果文档中的单独单词的上下文化的语义表示。该方法或技术还可以包括使用机器本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在计算设备上执行的方法，所述方法包括：接收查询；取回与所述查询相关的多个结果文档；建立具有在单独结果文档之间的链接的证据图；通过从被链接到所述证据图中的第二结果文档的第一结果文档传播文档间注意力，获取针对所述第二结果文档中的单独单词的上下文化的语义表示；使用机器学习模型处理所述第二结果文档中的所述单独单词的所述上下文化的语义表示，以获取对所述查询的回答；以及输出响应于所述查询的所述回答。2.根据权利要求1所述的方法，其中传播所述文档间注意力包括：至少基于特定单词与所述第一结果文档的相似度来确定针对所述第二结果文档中的所述特定单词的文档间上下文信息。3.根据权利要求2所述的方法，还包括：至少基于所述特定单词与所述第二结果文档中的其他单词的相似度来确定针对所述第二结果文档中的所述特定单词的文档内上下文信息。4.根据权利要求3所述的方法，其中所述第二结果文档中的所述单独单词的所述上下文化的语义表示包括上下文化的嵌入向量。5.根据权利要求3所述的方法，其中所述机器学习模型是神经网络，并且所述获取所述上下文化的语义表示在所述神经网络中被执行。6.根据权利要求5所述的方法，还包括：使用所述神经网络的文档间注意力层来确定所述文档间上下文信息；使用所述神经网络的文档内注意力层来确定所述文档内上下文信息；以及使用所述神经网络的范围提取层来从所述上下文化的语义表示中提取所述回答。7.根据权利要求6所述的方法，还包括：将所述查询连接到所述多个结果文档中的每个结果文档以获取查询
‑
文档对；以及在所述文档间注意力层中处理所述查询
‑
文档对中的两个或更多个查询
‑
文档对...

【专利技术属性】
技术研发人员：熊辰炎，赵晨，C，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：