通用假设排列模型的生成与应用制造技术

本公开的非限制性示例描述了通用假设排列模型的生成和应用，以对对话假设进行排列/重新排列。通过用于对话处理的应用的用户接口，接收输入。基于对接收到的输入的输入理解处理来生成多个对话假设。使用可适用于多个语言和区域的通用假设排列模型对多个对话假设进行排列。对多个对话假设进行排列包括：使用通用假设排列模型分析多个对话假设的与语言无关的特征以供策略确定。还描述了其他示例，其包括针对生成通用假设排列模型的示例。

【技术实现步骤摘要】
【国外来华专利技术】通用假设排列模型的生成与应用
技术介绍
假设排列(HR–HypothesisRanking)是用于改善多域多回合对话系统中的域检测和跟踪的准确性的方法。用于HR的语言模型通常与语言/区域相关，其中输入的识别取决于被训练以理解某种语言的对话系统。本申请针对的是该通用技术环境。
技术实现思路
本公开的非限制性示例描述了通用假设排列模型的应用以对对话假设排列/重新排列。通过用于对话处理的应用的用户接口，接收输入。基于对接收到的输入的输入理解处理，生成多个对话假设。使用可适用于多个语言和区域的通用假设排列模型，对多个对话假设进行排列。对多个对话假设进行排列包括：使用通用假设排列模型来分析多个对话假设的与语言无关的特征以供策略确定。本公开的其他非限制性示例包括可适用于多个语言和区域的通用假设排列模型的生成和管理。训练数据的语料库可以包括用于多种不同语言的数据，其中训练数据的语料库包括所存储的并且从以用多种不同语言接收到的用户输入获得的数据。训练数据的语料库可以被分析。基于分析训练数据的语料库，可以创建与语言无关的特征集合，其包括用于对对话假设进行排列的可选特征。可以生成通用假设排列模型。通用假设排列模型可适用于多个语言和区域。所生成的通用假设排列模型可以包括与语言无关的特征集合，其包括多个特征，其中任一特征可以被提取并且用作对对话假设进行排列的假设排列器(HR)的输入。输出多个对话假设的排列，以供策略确定，其中策略确定可以确定要输出的一个或多个排列后的对话假设。提供本
技术实现思路
是为了以简化形式介绍将在以下具体实施方式中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。示例的其他方面、特征和/或优点将部分地在下面的描述中得以阐述，并且一部分将通过描述而显而易见，或者可以通过本公开的实践而被知晓。附图说明参考以下附图对非限制性和非穷尽性示例进行描述。图1是图示了其中可以实践本公开的方面的计算设备的示例的框图。图2A和图2B是其中可以实践本公开的方面的移动计算设备的简化框图。图3是其中可以实践本公开的方面的分布式计算系统的简化框图。图4图示了可以在其上可以实践本公开的方面的一个或多个计算设备上实现的示例性系统。图5是用于其中可以实践本公开的方面的对话处理的示例性系统。图6是用于其中可以实践本公开的方面的输入处理的示例性方法。图7是用于生成其中可以实践本公开的方面的通用假设排列模型的示例性方法。具体实施方式由于口头以及键入两者的自然语言交互成为一系列设备的主流，所以将相同应用和体验扩展到不同区域和语言对于输入理解处理至关重要。假设排列(FIR)提高了商业多域对话系统中常见体系架构的准确性。通常，这样的系统首先在语言理解处理中相对于若干个可能域(例如，支持的域或不支持的域)例如，通过诸如口语理解(SLU)部件之类的语言理解部件，对用户的话语进行分类。域是指关于接收到的输入的“意图”的逻辑分组。比如，从输入识别部件传播的可选方案可以与可以用于满足接收到的输入的意图的一个或多个应用/服务相关联。在域检测之后，接收到的输入的意图通过语言理解部件进行评估。作为示例，与意图关联的分类依赖于域。比如，如果与接收到的输入相关联的域是日历应用，则意图分类可以与对应于日历应用的动作、请求、问题等相关联。例如，接收到的输入的所标识的意图可以是安排与联系人的会议，其中安排在日历应用内发生。语言理解部件还执行时隙标记。时隙标记分析与接收到的输入相关联的实体数据，并且基于预测的域和意图来对应/标记实体数据的部分。语言理解部件(例如，SLU)的输出是语义帧(SF)集合，每个域一个语义帧，该语义帧包含意图和时隙信息以及相关联的分数。对于语义框架，相关的知识数据(例如，外部资源应用评估、数据库命中、其他系统/服务的应用等)被获取并且附加到SF。SF的集合(assembly)和知识数据结果被称为对话假设。在这样的设置中，因为由于所造成的任何误差倾向于导致非常不正确的系统动作或响应，使得所造成的任何误差都会显著地更明显，所以域分类的准确性至关重要。对话系统是一个或多个处理部件(诸如在一个或多个处理设备上操作的处理设备或软件部件)，以接收和处理会话或对话交换中的输入。对话系统的对话处理部件管理与用户的对话交换的历史和状态，以便引导会话或对话交换的一般流程。在这个过程中，对话部件分析作为上文所描述的输入理解处理的结果而提供的语义信息。HR是对话系统的对话管理器阶段内的域排列/重新排列机制，即，HR受益于对所有域进行完整的SLU域、意图和时隙分析以及可用于提高域分类准确性的完整的会话上下文和相关的后端知识。研究表明对HR模型的输入特征可以与语言无关，该输入特征例如是语义空间中的导出特征，例如存在时隙标记而非标记的实际单词。因此，如果由对话系统处理的域集合在很大程度上是相同的，则示例性通用HR模型很好地概括跨不同语言(包括先前未看见的语言)操作的对话系统。非限制性示例描述了可适用于与多个语言和区域一起使用的通用假设排列(HR)模型的生成和应用。在示例中，单个排列模型在所有语言-区域组合上进行训练，并且用于在生产中准确排列和评估由对话系统的对话部件生成的假设。示例性通用HR模型所使用的提取的输入特征集合在很大程度上与语言无关。测试数据表明示例性通用HR模型可以用来代替语言特定HR模型，仅损失很小的准确性，并且这样的模型也很好地概括了新的未看见的语言，通常实现超过2％的域准确性的绝对增益(可以通过训练语言特定HR模型实现60％的平均增益)。测试数据还表明：实现了通用HR模式对新语言的优化，而无需显著重新训练，从而便于将现有对话系统扩展到新的区域/环境。进一步，示例性通用HR模型降低了与区域相依对话建模相关联的开发和维护成本。因此，在一些示例中，通用HR模型避免基于来自用户话语的词法特征对假设进行排列，以避免排列模型重新计算已经由SLU的语言理解部件进行的较低级词法分析，而且朝着不同语言/对话系统之间的可移植性努力。因此，本公开提供了多种技术效果，其包括但不限于多回合对话系统中的输入和对话交换的语义处理增强、作为输出的假设的排列的处理和准确性改进、可跨多个平台实现的通用HR模型的可扩展性和可适用性、可以管理用于包括低资源语言的广泛多个语言/区域的对话交换/会话流程的通用HR模型、包括与使用多语言/区域特定语言模型相比较用于语言模型处理的维护开销在内的用于对话系统/服务的处理负荷的减少、以及控制用于对话处理的用户交互等等。图1至图3以及相关联的描述提供了其中可以实践本专利技术的示例的多种操作环境的讨论。然而，相对于图1至图3所图示和讨论的设备和系统仅用于示例和说明的目的，并不限制可以用于实践本文中所描述的本专利技术的示例的大量计算设备配置。图1是图示了其中可以实践本公开的示例的计算设备102(例如，移动处理设备)的物理部件的框图。在基本配置中，计算设备102可以包括至少一个处理单元104和系统存储器106。取决于计算设备的配置和类型，系统存储器106可以包括但不限于易失性存储装置(例如，随机存取存储器)、非易失性存储装置(例如，只读存储器)、闪存或这些存储器的任何组合。系统存储器106可以包括操作系统107本文档来自技高网...

【技术保护点】
一种系统，包括：至少一个处理器；以及存储器，其与所述处理器可操作地连接，其中所述存储器存储计算机可执行指令，所述计算机可执行指令使得所述处理器执行：分析训练数据的语料库，其中所述训练数据的语料库包括所存储的、并且从以多种不同语言接收的用户输入中获得的数据，基于分析的所述训练数据的语料，创建与语言无关的特征集合，所述与语言无关的特征集合包括用于对对话假设进行排列的可选特征，以及生成包括所述与语言无关的特征集合的通用假设排列模型，其中所述通用假设排列模型可适用于多个语言和区域。

【技术特征摘要】
【国外来华专利技术】2015.08.31 US 14/841,1561.一种系统，包括：至少一个处理器；以及存储器，其与所述处理器可操作地连接，其中所述存储器存储计算机可执行指令，所述计算机可执行指令使得所述处理器执行：分析训练数据的语料库，其中所述训练数据的语料库包括所存储的、并且从以多种不同语言接收的用户输入中获得的数据，基于分析的所述训练数据的语料，创建与语言无关的特征集合，所述与语言无关的特征集合包括用于对对话假设进行排列的可选特征，以及生成包括所述与语言无关的特征集合的通用假设排列模型，其中所述通用假设排列模型可适用于多个语言和区域。2.根据权利要求1所述的系统，其中所述计算机可执行指令还包括：使得所述处理器执行将所述通用假设排列模型存储在至少一个处理设备的存储器中的指令。3.根据权利要求1所述的系统，其中所述计算机可执行指令还包括这样的指令，其使得所述处理器执行将生成的所述通用假设排列模型作为来自包括文件、可分布包以及应用的组中的至少一个来提供，以供分布式访问分布式网络中的多个处理设备，并且其中所述多个处理设备执行用于对话处理的至少一个应用。4.根据权利要求3所述的系统，其中所述计算机可执行指令还包括使得所述处理器执行以下动作的指令：通过所述分布式网络，从另一处理设备接收来自用于对话处理的应用的接收到的输入，响应于对接收到的所述输入执行语言理解处理，生成多个对话假设，使用所述通用假设排列模型对所述多个对话假设进行排列，以及通过所述分布式网络，将排列后的所述对话假设中的一个或多个传送到所述另一处理设备。5.根据权利要求4所述的系统，其中所述排列还包括：从所述与语言无关的特征集合中提取包括两个或更多个特征的可选特征集合，并且使用提取的所述可选特征集合分析所述多个对话假设的对话假设。6.根据权利要求1所述的系统，其中所述计算机可执行指令还包括使得所述处理器执行以下动作的指令：将所述通用假设排列模型集成到用于对话处理的至少一个应用中，将用于对话处理的所述至少一个应用存储在所述存储器中；以及执行用于对话处理的所述应用，其中所述执行还包括：在处理设备的显示器上显示图形用户接口，以及通过所述图形用户接口呈现在所述处理设备上被显示、并且被讲给用户的自然语言短语。7.根据权利要求6所述的系统，其中所述计算机可执行指令还包括使得所述处理器执行以下动作的指令：通过所述用户接口，接收输入，响应于对接收到的所述输入执行语言理解处理，使用用于对话处理的所述应用生成多个对...

【专利技术属性】
技术研发人员：R·萨里卡亚，P·A·克鲁克，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国,US