不同标记集合的转移学习技术制造技术

本公开的示例描述了用于不同标记集合的转移学习技术的系统和方法。在各方面中，可以访问服务器设备上的数据集。数据集可以包括标记和与标记相关联的词集。服务器设备可以引起数据集内的标记嵌入。嵌入的标记可以由对应于特定标记的多维向量表示。向量可以用于构建数据集的标记映射。标记映射可以用于训练模型以执行领域适应或转移学习技术。该模型可以用于向语句/查询或训练模型提供结果。

Transfer learning techniques for different sets of tags

The present example describes the system and method of transfer learning techniques for different tagged sets. In all aspects, data sets on the server device can be accessed. A dataset can include a tag and a set of words associated with a tag. The server device can cause the embed of the tag within the data set. The embedded markup can be represented by a multidimensional vector corresponding to a particular label. A vector can be used to build a tagged mapping of a set of data. Markup mappings can be used to train models to perform domain adaptation or transfer learning techniques. The model can be used to provide results to a statement / query or training model.

【技术实现步骤摘要】
【国外来华专利技术】不同标记集合的转移学习技术
技术介绍
自然语言理解(NLU)是计算机程序理解人类言语和提取口头或键入输入的含义的能力。NLU系统已经与各种领域(例如，地点、天气、通信、提醒)结合使用。通常，这些领域中的NLU基于统计机器学习模型，这些模型需要大量特定于领域的注释训练数据。出于这样的原因，建立新的领域需要大量的资源投资。虽然领域适应中的各种技术和方法已经发展到解决这些问题，但是这些解决方案假设使用不变的标记空间。因此，这些解决方案的直接应用目前是不可能的。本文所公开的方面就是针对这些以及其他一般考虑而提出的。而且，虽然可以讨论相对具体的问题，但是应当理解的是，这些示例不应该被限制为解决
技术介绍
或者本公开中的其他地方所标识的具体问题。
技术实现思路
提供本“
技术实现思路
”是为了以简化形式介绍将在以下具体实施方式部分中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的技术主题的关键特征或必要特征，也不旨在用作帮助确定所要求保护的技术方案的范围。本公开的示例描述了用于不同标记集合的转移学习技术的系统和方法。在各方面中，可以在服务器设备上访问数据集。数据集可以包括标记以及与标记相关联的词集。服务器设备可以引起标记嵌入到数据集。嵌入的标记可以由对应于特定标记的多维向量表示。向量可以用于构建数据集的标记映射。标记映射可以用于训练模型以执行领域适应或转移学习技术。该模型可以用来向语句/查询提供结果或训练不同的模型。提供本
技术实现思路
是为了以简化形式介绍将在以下具体实施方式中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的技术方案的关键特征或必要特征，也不旨在用于限定所要求保护的技术方案的范围。示例的额外方面、特征和/或优点将部分地在下面的描述中阐述，并且部分地将通过描述而显而易见，或者可以通过本公开的实践而被了解。附图说明参考以下附图来描述非限制性和非穷尽性示例。图1示出了本文所述用于实现不同标记集合的转移学习技术的示例性系统的概述。图2示出了本文所述用于实现不同标记集合的转移学习技术的示例性输入处理单元的概述。图3示出了本文所述用于不同标记集合的转移学习技术的示例性方法。图4示出了本文所述使用接收到的输入来执行用于不同标记集合的转移学习技术的示例性方法。图5是示出可以实践本公开的各方面的计算设备的示例的框图。图6A和图6B是可以实践本公开的各方面的移动计算设备的简化框图。图7是其中可以实践本公开的各方面的分布式计算系统的简化框图。图8是示例性领域中的双射映射的示例图。具体实施方式下面参考附图更全面地描述本公开的各方面，附图形成本公开的一部分，并且示出了具体的示例性方面。然而，本公开的不同方面可以以许多不同的形式实现，并且不应被解释为限于在此阐述的各方面；相反，这些方面被提供以使得本公开将是彻底和完整的，并将向本领域技术人员充分地传达这些方面的范围。各方面可以被实践为方法、系统或设备。因此，各方面可以采取硬件实现方式、完全软件实现方式或者组合软件和硬件方面的实现方式的形式。因此，下面的详细描述不应被认为是限制性的。本公开提供了用于不同标记集合的转移学习技术的系统和方法。如本文所使用的，转移学习可以指将在解决第一个问题时确定的知识应用于不同但相关的第二个问题。在示例中，处理设备可以使用生成的标记映射来训练诸如语言模型之类的模型。经训练的模型可以执行本文描述的领域适应或示例性转移学习技术，以显著减少必须投入到创建特定于新应用或领域的注释中的资源量。在示例中，可以在服务器设备上访问数据集。本领域的技术人员将认识到，可以结合本公开的示例来使用任何类型的处理设备。示例性数据集可以包括用于自然语言理解(NLU)系统的数据。然而，本领域技术人员将认识到，本公开的示例可以应用于任何输入理解处理，包括以诸如语音/话语、文本、手写输入和触摸形式处理的输入，以及其他示例。在一个示例中，如本文所使用的，NLU可以指计算机程序理解人类语音并便于提取说出的、键入的和/或以其他方式接收到的输入的含义的能力。NLU数据可以与一个或多个领域相关联，并且可以包括标记以及与标记相关联的词集。如本文所使用的，领域可以指隔离或定义应用、软件功能或一组数据的容器和/或边界。例如，可以使用“事件”领域来搜索和购买事件相关的项目；而“地点”领域可以用于搜索地点和到该地点的指引。处理设备(例如，服务器设备)可以使用例如典型相关分析(CCA)来导出数据集内的数据的密集的低维表示。如本文所使用的，CCA可以指描述确定在相同实体上测量的变量(向量)的多个多维集合之间的关系的方法的统计技术。确定出的关系可以指示哪些变量是最大相关的。密集的低维表示可以包括来自最大相关变量的信息。在一些方面，可以使用CCA来引起标记嵌入到数据集内。嵌入的标记可以由对应于特定标记和与标记相关联的词的多维向量表示。向量可以用于构建数据集的标记映射。在一些示例中，向量内的标记可被分组并映射到粗糙标记集合(簇)。如本文所使用的，粗糙标记集合可以指从更精细的标记集合中已抽象或概括的一组标记。例如，粗糙标记“time”可以从精细标记“start_time”和“end_time”中抽象出来。在其他示例中，向量内的标记可以用于双射映射不同数据集内的标记。例如，领域“events”中的标记“duration”可以被映射到领域“places”中的标记“travel_time”。处理设备可以使用标记映射来训练模型以执行领域适应或转移学习技术。如本文所使用的，训练模型可以指使用一组训练数据来拟合统计机器学习的模型，其可以用来预测来自一个或多个预测器的响应值。如本文所使用的，领域适应可以指将不同领域和/或应用的数据、标记集合和模式映射到相同的语义空间。在一些示例中，可以训练模型以使用标记映射来执行从粗到精的标记预测。例如，可以在源领域上对模型进行训练，并且可以使用预测标记来训练目标领域上的模型。在其他示例中，可以使用源领域数据和目标领域数据的联合来训练模型，从而来自每个领域的数据与领域指示符联合。本领域技术人员将认识到，在本公开中描述的示例可应用于任何应用领域或服务。因此，本公开提供了多种技术益处，包括但不限于：语言模型的改进训练，输入处理中的错误率降低，用于不同领域的标记集合的改进映射，用于构建不同领域中标记集合之间的映射的数据驱动技术；用于跨领域查找共享标记的数据驱动技术；减少注释领域所需的训练数据、时间和资源成本；增加第三方可扩展性；以及利用本公开的示例提高应用/服务的效率和质量，以及其他示例。图1示出了本文所述用于实现不同标记集合的转移学习技术的示例性系统的概述。所呈现的示例性系统100是交互以形成集成整体的相互依赖的部件的组合，用以改进来自隐式反馈的推荐。系统的部件可以是硬件部件或在系统的硬件部件上实现和/或由硬件部件执行的软件。在示例中，系统100可以包括硬件部件(例如，用于执行/运行操作系统(OS))以及在硬件上运行的软件部件(例如，应用、应用程序接口、模块、虚拟机、运行时间库等)中的任何一个。在一个示例中，示例性系统100可以提供软件部件运行的环境，遵守为操作设置的约束，并且利用系统100的资源或设施，其中部件可以是在一个或多个处理设备上运行的软件(例如，应用、程序、模块等等)。例如，软件(例本文档来自技高网...

【技术保护点】
一种系统，包括：至少一个处理器；以及耦合到所述至少一个处理器的存储器，所述存储器包括计算机可执行指令，所述计算机可执行指令在由所述至少一个处理器执行时执行一种方法，所述方法包括：访问第一已标记数据集合；将所述第一已标记数据集合转换成向量集合；识别来自所述向量集合的至少两个向量当中的标记的共同性；基于所识别的所述共同性，使用所述至少两个向量来生成粗糙标记集合；使用所述粗糙标记集合来训练模型；以及使用所训练的所述模型，将与所述粗糙标记集合相关联的第一标记映射到与第二已标记数据集合相关联的第二标记。

【技术特征摘要】
【国外来华专利技术】2015.07.06 US 14/792,2691.一种系统，包括：至少一个处理器；以及耦合到所述至少一个处理器的存储器，所述存储器包括计算机可执行指令，所述计算机可执行指令在由所述至少一个处理器执行时执行一种方法，所述方法包括：访问第一已标记数据集合；将所述第一已标记数据集合转换成向量集合；识别来自所述向量集合的至少两个向量当中的标记的共同性；基于所识别的所述共同性，使用所述至少两个向量来生成粗糙标记集合；使用所述粗糙标记集合来训练模型；以及使用所训练的所述模型，将与所述粗糙标记集合相关联的第一标记映射到与第二已标记数据集合相关联的第二标记。2.根据权利要求1所述的系统，其中转换所述第一已标记数据集合包括：使用所述第一已标记数据集合对一个或多个标记应用标准相关分析(CCA)。3.根据权利要求1所述的系统，其中生成所述粗糙标记集合包括：使用从以下组中选择的至少一种技术来聚合所述至少两个向量：所述组包括k均值聚类、谱聚类、相似性传播、均值漂移、Ward层级聚类、凝聚聚类、DBSCAN、Gaussian混合和Birch聚类。4.根据权利要求1所述的系统，其中训练所述模型包括：识别与所述粗糙标记集合在语义上相关的一个或多个标记。5.一种用于映射不同标记集合的系统，所述系统包括：至少一个处理器；以及耦合到所述至少一个处理器的存储器，所述存储器包括计算机可执行指...

【专利技术属性】
技术研发人员：金永邦，R·萨里卡亚，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US