用于语言理解系统的领域添加系统和方法技术方案

提供了用于将新领域添加到自然语言理解系统以形成具有多个领域专家的经更新的语言理解系统的系统和方法。更具体而言，所述系统和方法能够利用来自在自然语言理解系统上已经存在的领域中的一个或多个领域的数据来添加新领域，同时保持新领域与已经存在的领域彼此分离。

【技术实现步骤摘要】
【国外来华专利技术】用于语言理解系统的领域添加系统和方法
技术介绍
机器学习、语言理解和人工智能正在改变用户与计算机交互的方式。计算机和应用的开发者一直在尝试改善人与计算机之间的交互。然而，语言理解模型的开发常常需要大量的时间、金钱以及其他资源来完成。关于这些以及其他的一般性考虑，已经做出了在本文中所公开的各方面。同样地，尽管可以讨论相对具体的问题，但是应当理解，这些方面不应当限于解决在
技术介绍
中或者在本公开中别处所标识出的具体问题。
技术实现思路
总之，本公开总体涉及用于向自然语言理解系统添加新领域以形成具有多个领域(domain)专家的经更新的语言理解系统的系统和方法。此外，本公开总体涉及用于使用经更新的语言理解系统的系统和方法。更具体而言，在本文中所公开的系统和方法能够利用来自在自然语言理解系统上已经存在的领域中的一个或多个领域的数据来添加新领域，同时保持新领域与已经存在的领域彼此分离。因此，在本文中所公开的系统和方法提供了更准确的自然语言理解系统、更可靠的自然语言理解系统、以及更有效的自然语言理解系统。此外，在本文中所描述的系统和方法为自然语言理解系统提供了更好的开发(包括更新能力)、智能、生产率和可扩展性。本公开的一个方面针对一种自然语言理解(NLU)系统。所述NLU系统包括：领域专家；至少一个处理器；以及存储器。每个领域专家包括意图分类任务或槽隙(slot)标记任务中的至少一项。所述存储器对计算机可执行指令进行编码，所述计算机可执行指令当由所述至少一个处理器运行时执行一种方法。所述方法包括：接收针对所述NLU系统的新领域；接收针对所述新领域的有限训练数据；基于所述有限训练数据来训练所述新领域以形成经部分训练的新领域；基于所述有限训练数据向所述领域专家发送查询；响应于所述查询而接收来自每个领域专家的回答；对来自所述领域专家的回答中的每个回答分配权重以形成经加权的回答；以及基于所述经加权的回答来训练所述经部分训练的新领域以形成新领域专家。本公开的另一方面包括一种用于向NLU系统添加新领域的方法。所述方法包括：接收针对所述NLU系统的所述新领域；接收针对所述新领域的训练数据；基于所述训练数据来训练所述新领域以形成经部分训练的新领域；基于所述新领域向所述NLU系统上的领域专家发送第一查询；响应于所述第一查询而接收来自每个领域专家的回答；利用所述经部分训练的新领域对所述回答中的每个回答分配权重以形成经加权的回答；基于所述经加权的回答来训练所述经部分训练的新领域以形成新领域专家；接收针对所述新领域专家的用户话语；基于与所述新领域专家的所述用户话语来确定动作；以及发送指令以执行所述动作。本公开的又一方面包括一种系统。所述系统包括至少一个处理器和存储器。所述存储器对计算机可执行指令进行编码，所述计算机可执行指令当由所述至少一个处理器运行时使所述至少一个处理器执行用于自然语言理解(NLU)的方法。所述方法包括：接收针对NLU系统的新领域；接收针对所述新领域的训练数据；基于所述训练数据来训练所述新领域以形成经部分训练的新领域；向已经存在于所述NLU系统上的领域专家发送查询；响应于所述查询而接收来自每个领域专家的回答；对来自所述领域专家的所述回答中的每个回答分配权重；基于分配给配个所述回答中的每个回答的所述权重来选择所述回答的一部分用于训练以形成一组选定回答；以及基于所述一组选定回答来训练所述经部分训练的新领域以形成新领域专家。提供本
技术实现思路
以简化的形式介绍一组概念，这些概念将在下文的详细描述中进一步描述。本
技术实现思路
并不旨在标识所要求保护的主题的关键特征或必要特征，也并不旨在用于限制所要求保护的主题的范围。附图说明参考以下附图描述了非限制性和非穷举性示例或方面。图1A是图示了根据本公开的各方面的由用户经由客户端计算设备利用的具有自然语言理解系统的应用的示意图。图1B是图示了根据本公开的各方面的由用户经由客户端计算设备利用的具有自然语言理解系统的应用的示意图。图1C是图示了根据本公开的各方面的由用户经由客户端计算设备利用的具有自然语言理解系统的应用的示意图。图1D是图示了根据本公开的各方面的由用户经由客户端计算设备利用的具有自然语言理解系统的应用的示意图。图2是图示了根据本公开的各方面的在自然语言理解系统上的新添加的领域与其他已经存在的领域之间的通信流的示意图。图3A是图示了根据本公开的各方面的针对示例性学习模型的网络架构的示例的示意图。图3B是图示了根据本公开的各方面的针对在图3A中所示的学习模型的领域专家训练模型的网络架构的示例的示意图。图4是图示了用于将领域添加到自然语言理解系统并且使用所形成的自然语言理解系统的方法的示例的流程图。图5是图示了可以实践本公开的各方面的计算设备的示例性物理组件的框图。图6A和图6B是可以实践本公开的各方面的移动计算设备的简化框图。图7是在其中可以实践本公开的各方面的分布式计算系统的简化框图。图8图示了可以实践本公开的各方面的平板计算设备。图9是图示了在领域专家模型与全局联盟(DA)模型之间的训练时间的比较的图。图10是图示了在领域专家模型中随着领域专家的数量增加的不同领域的学习曲线的图。具体实施方式在下文的详细描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了特定方面或示例。在不背离本公开的主旨或范围的情况下，可以组合这些方面、可以利用其他方面、并且可以进行结构改变。因此，以下详细描述不应当以限制的意义来理解，并且本公开的范围由权利要求以及其等同物来限定。机器学习、语言理解和人工智能的进展正在改变用户与计算机交互的方式。数字助理应用(诸如Siri、GoogleNow和Cortana)是人机交互转变的示例。自然语言理解(NLU)系统负责提取语义框架，以表示自然语言输入的领域、意图和语义槽隙(或实体)。NLU系统利用通常根据具有语义注释的特定于领域的输入或话语(在本文中也被称为查询)而训练的NLU模型。NLU系统常常被用于执行任务，诸如预订餐厅、安排旅行、向日历添加约会、简单的聊天等。利用NLU系统成功实现数字助理的一个要素是识别意图并且标记输入查询中的槽隙。这种交互是面向自然语言的，因为语音和文本输入通常占主导地位。工程师当构建数字助理应用时面临的一项挑战是如何构建稳健的意图检测和槽隙标记模块(或LU系统)。工程师面临的另一项挑战与领域调整有关：给定现有领域的数量(K)，NLU系统在有限的监督下能够多快地推广到新领域。当前，当添加新领域时，将使用标准技术在跨所有K+1个领域的全局模型中对NLU系统进行重新训练。换言之，当前，每次将具有潜在新意图和槽隙的新领域添加到NLU系统时，NLU系统都必须从头开始重新估计全局模型。例如，本文档来自技高网...

【技术保护点】
1.一种自然语言理解(NLU)系统，所述NLU系统包括：/n领域专家，/n其中，每个领域专家包括意图分类任务或槽隙标记任务中的至少一项；/n至少一个处理器；以及/n对计算机可执行指令进行编码的存储器，所述计算机可执行指令当由所述至少一个处理器运行时执行一种方法，所述方法包括：/n接收针对所述NLU系统的新领域；/n接收针对所述新领域的有限训练数据；/n基于所述有限训练数据来训练所述新领域以形成经部分训练的新领域；/n基于所述有限训练数据来向所述领域专家发送查询；/n响应于所述查询而接收来自每个领域专家的回答；/n对来自所述领域专家的所述回答中的每个回答分配权重以形成经加权的回答；以及/n基于所述经加权的回答来训练所述经部分训练的新领域以形成新领域专家。/n

【技术特征摘要】
【国外来华专利技术】20170728 US 15/662,9271.一种自然语言理解(NLU)系统，所述NLU系统包括：
领域专家，
其中，每个领域专家包括意图分类任务或槽隙标记任务中的至少一项；
至少一个处理器；以及
对计算机可执行指令进行编码的存储器，所述计算机可执行指令当由所述至少一个处理器运行时执行一种方法，所述方法包括：
接收针对所述NLU系统的新领域；
接收针对所述新领域的有限训练数据；
基于所述有限训练数据来训练所述新领域以形成经部分训练的新领域；
基于所述有限训练数据来向所述领域专家发送查询；
响应于所述查询而接收来自每个领域专家的回答；
对来自所述领域专家的所述回答中的每个回答分配权重以形成经加权的回答；以及
基于所述经加权的回答来训练所述经部分训练的新领域以形成新领域专家。


2.根据权利要求1所述的NLU系统，其中，所述有限训练数据包括至多1000个话语，
其中，所述领域专家包括至少25个不同的领域专家，并且
其中，用于添加所述新领域专家的训练时间为3分钟或更短。


3.根据权利要求1所述的NLU系统，其中，不管所述NLU系统包括两个还是25个不同的领域专家，用于添加所述新领域的训练时间不会改变超过150秒。


4.根据权利要求1所述的NLU系统，其中，所述查询请求意图预测、槽隙预测和标签预测。


5.根据权利要求1所述的NLU系统，其中，对来自所述领域专家的所述回答中的每个回答分配所述权重是基于领域专家与所述经部分训练的新领域的语义紧密度的。


6.一种用于向自然语言理解(NLU)系统添加新领域的方法，所述方法包括...

【专利技术属性】
技术研发人员：I·齐图尼，D·金，YB·金，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US