用于处理输入查询的方法和系统技术方案

所公开的实施例包括涉及改进自然语言处理的系统和方法，该自然语言处理被用于从给定输入字符串中确定意图以及一个或多个相关联的参数。在实施例中，输入字符串被接收，并且不同的第一n元语法和第二n元语法被应用于该输入字符串。然后，递归神经网络模型被使用以部分地基于不同的第一n元语法和第二n元语法来生成输出数据。意图检测和语义标记被应用于递归神经网络模型的输出。

【技术实现步骤摘要】
【国外来华专利技术】用于处理输入查询的方法和系统相关申请的交叉引用本申请于2017年3月31日作为PCT国际申请提交，并且要求于2016年3月31日提交的美国临时专利申请号62/316,208的优先权，出于任何和所有目的，其内容通过整体引用并入于此。
本说明书涉及用于处理输入查询的方法和系统，并且更具体地涉及处理自然语言查询。
技术介绍
自然语言处理(NLP)是计算机科学、人工智能和语言学的领域，涉及计算机与人类(自然)语言之间的交互。如此，NLP与人机交互领域有关。NLP中的许多挑战涉及自然语言理解，这将使得计算机能够从人类或自然语言输入中获得含义。
技术实现思路
根据本说明书的一个方面，提供了用于处理输入查询的方法和系统。在示例中，处理输入查询的方法包括：接收输入查询，其中输入查询包括多个单词；将输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给多个单词，其中第一n元语法与第二n元语法不用；将第一递归神经网络模型应用于第一n元语法，以生成第一输出数据；将第二递归神经网络模型应用于第二n元语法，以生成第二输出数据；以及将意图检测和语义标记应用于第一输出数据和第二输出数据。在另一示例中，提供了用代码编码的非暂时性计算机可读介质，代码用于指示处理器以：接收输入查询，其中输入查询包括多个单词；将输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给多个单词，其中第一n元语法与第二n元语法不同；将第一递归神经网络模型应用于第一n元语法，以生成第一输出数据；将第二递归神经网络模型应用于第二n元语法，以生成第二输出数据；以及将意图检测和语义标记应用于第一输出数据和第二输出数据。在又一示例中，存在处理输入查询的方法，包括：接收输入查询，其中输入查询包括多个单词；将输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给多个单词，其中第一n元语法与第二n元语法不同；在第一层中，将第一递归神经网络模型应用于第一n元语法以生成第一输出数据，并且将第二递归神经网络模型应用于第二n元语法以生成第二输出数据；池化来自第一层的第一输出数据和第二输出数据，以生成用于第二层的输入数据；以及在第二层中，将递归神经网络模型应用于输入数据以生成最终输出数据。
技术实现思路
被提供以简化的形式介绍一些代表性概念，这些概念将在下面的说明书中进一步被描述。
技术实现思路
并不旨在标识所要求保护的技术主题的关键特征或必要特征，也不旨在以限制所要求保护的技术主题的范围的任何方式被使用。通过以下结合附图的详细描述，本专利技术的其他方面和优点将变得显而易见，附图通过示例的方式示出了本专利技术的原理。附图说明现在仅通过示例的方式参考附图。图1图示了计算机网络系统的示意性表示。图2图示了示出服务器的各种组件的示意性框图。图3图示了处理由流程图形式表示的服务器执行的输入查询的方法。图4图示了图3的方法的实施方式。具体实施方式所公开的实施例涉及对自然语言处理系统的改进，该自然语言处理系统可以被用来从给定输入字符串确定意图和一个或多个相关联的参数。一些输入(诸如口头语言指令)可能具有相对较小的上下文，对于一些自然语言处理系统(例如，基于神经网络的自然语言处理系统)来说，这可能是具有挑战性的。所公开的实施例可以涉及对改进自然语言处理，包括改进口头语言指令的意图和参数检测的准确性。所公开的实施例还可以以资源有效的方式提供自然语言处理，这可以使资源受限的设备(例如，诸如车辆头部单元的嵌入式系统)能够提供自然语言处理功能。例如，所公开的实施例可以使用递归神经网络和向量图。这种安排可以提供稳健的自然语言处理功能，其具有小内存占用，并且对外部资源的需求很少。相比之下，传统的自然语言处理系统可能需要大量的知识库、本体或外部资源来执行处理，这可以限制自然语言处理可以在其上被使用的设备的种类。在示例中，所公开的实施例可以接收输入作为字符串。例如，用户可以要求数字个人助理“CallJohnSmith”，其可以使用语音到文本系统而被转换为字符串。输入可以被分成不同的表示，诸如不同的n元语法(例如，一元语法、二元语法、三元语法)、概念向量序列、音素序列或其他表示。例如，字符串可以被划分为一元语法“Call”、“John”和“Smith”；二元语法“Call_John”和“John_Smith”；以及三元语法“Call_John_Smith”。所公开的实施例可以使用概念向量来提供对具有动态改变的含义的输入的改进分析。例如，如果系统不理解单词形成电影标题，则组成电影标题的单词可能对自然语言处理系统来说缺乏含义或引起误导。例如，组成“10CloverfieldLane”的单词可以具有一个含义，但是如果自然语言处理系统理解该短语是指地址或具有该标题的2016年电影，则该短语可以具有完全不同的含义。所公开的实施例可以使用概念向量(例如，具有特定含义的词汇或单词列表)来帮助解决这些情况。例如，作为电影标题并且可能通常被标记为具有未知表示的短语可以被给予概念向量表示。类似的方法可以被应用于作为人员联系人列表一部分的项目。例如，在许多用途中，单词“He”是代词，但在其他用途中，“He”可以是人的名字的一部分。如果该名字出现在用户的联系人列表中，则自然语言处理系统在一些情况下可以给予单词“He”概念向量表示。接下来，预处理步骤可以被应用以将序列转换成可由递归神经网络使用的格式，诸如向量格式。在示例中，这可以使用嵌入来执行。(例如，从字符串到向量的映射)。在示例中，背景语料库(例如，以地图或字典的格式)可以被使用。在地图或字典中没有对应的向量的情况下，“未知”标签或向量可以被使用。嵌入可以是预训练的短语嵌入。用于嵌入的短语可以使用各种技术来确定。在一种技术中，浅解析器在文本上被运行，并且名词短语被用作短语。另一种技术可以涉及收集命名实体或使用知识图或本体中的项目。另一种技术是使用从语料库收集的PMI(逐点互信息)。在示例中，在选择使用“call_John”或“john_smith”作为n元语法的情况下，具有较高PMI分数的表示可以被选择。嵌入可以使用各种技术来初始化，诸如skip-gram模型(word2vec)。参见Mikolov等人的“单词和短语的分布式表示及其组合性”，arXiv：1310.4546[cs.CL](2013年10月16日)，其出于任何和全部的目的而通过引用并入本文。技术还可以包括随机初始化嵌入或使用全局向量以用于单词表示(GloVe)。继续示例，一元语法“Call”、“John”和“Smith”都可以在嵌入中并被转换成向量。对于二元语法，可以存在用于“JohnSmith”的嵌入。在示例中，“JohnSmith”可以在概念向量中被找到。很可能不存在用于“CallJohn”的嵌入。在这种情况下，一元语法“Call”可以替代地被使用，或者它可以被给予指示其未知的标记。也很可能不存在用于三元语法“CallJohnSmith”的嵌入。在这种情况下，三元语法可以被给予未知标签，或者它的一元语法值可以被使用。然后，这些向量被用作它们自己的特定递归神经网络的输入。在示例中，可以存在特定于一元语法(例如，在一元语法上被训练)的一个递归神经网络，特定于二元语法的另一递归神经网络，等等。在一些示例中本文档来自技高网...

【技术保护点】
1.一种处理输入查询的方法，所述方法包括：接收所述输入查询，其中所述输入查询包括多个单词；将所述输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给所述多个单词，其中所述第一n元语法与所述第二n元语法不同；将第一递归神经网络模型应用于所述第一n元语法，以生成第一输出数据；将第二递归神经网络模型应用于所述第二n元语法，以生成第二输出数据；以及将意图检测和语义标记应用于所述第一输出数据和所述第二输出数据。

【技术特征摘要】
【国外来华专利技术】2016.03.31 US 62/316,2081.一种处理输入查询的方法，所述方法包括：接收所述输入查询，其中所述输入查询包括多个单词；将所述输入查询存储在存储器存储单元中；将第一n元语法和第二n元语法分配给所述多个单词，其中所述第一n元语法与所述第二n元语法不同；将第一递归神经网络模型应用于所述第一n元语法，以生成第一输出数据；将第二递归神经网络模型应用于所述第二n元语法，以生成第二输出数据；以及将意图检测和语义标记应用于所述第一输出数据和所述第二输出数据。2.根据权利要求1所述的方法，其中所述第一n元语法包括一元语法。3.根据权利要求2所述的方法，其中所述第二n元语法包括二元语法。4.根据权利要求1所述的方法，进一步包括：将第三n元语法分配给所述多个单词。5.根据权利要求4所述的方法，进一步包括：将第三递归神经网络模型应用于所述第三n元语法，以生成第三输出数据，其中所述意图检测和语义标记进一步被应用于所述第三输出数据。6.根据权利要求4所述的方法，进一步包括：将概念向量递归神经网络模型应用于所述第三n元语法，以生成第三输出数据，其中所述意图检测和语义标记进一步被应用于所述第三输出数据。7.根据权利要求4所述的方法，其中所述第三n元语法包括三元语法。8.根据权利要求1所述的方法，进一步包括：通过对所述第一输出数据和所述第二输出数据应用柔性最大值回归分析来检测意图。9.根据权利要求1所述的方法，进一步包括：通过应用条件随机场分析，利用语义标记从所述多个单词中标...

【专利技术属性】
技术研发人员：何靖，J·梅赫布哈布，叶正，K·萨勒曼，
申请(专利权)人：马鲁巴公司，
类型：发明
国别省市：加拿大,CA