用于对话理解系统的会话上下文建模技术方案

提供了用于通过将语言模型所使用的知识源适用于会话上下文来改进用于语音识别的语言模型的系统和方法。知识源(如知识图)用于基于来自映射到知识源的使用历史(如会话日志)的用户交互信息来对动态会话上下文进行捕捉和建模。根据用户交互的序列，可以确定较高级别的意图序列，并将其用于形成预期类似意图但具有不同参数的模型，所述参数包括不一定出现在使用历史中的参数。以这种方式，会话上下文模型可以用于在给定此前的轮次或一些轮次的情况下确定来自用户的可能的接下来的交互或“轮次”。然后对与可能的接下来的轮次相对应的语言模型进行内插，并提供其以改进从用户接收的接下来的轮次的识别准确度。

Session context modeling for dialogue understanding systems

A system and method are provided for improving a language model for speech recognition by applying a knowledge source used by a language model to a session context. Knowledge sources, such as knowledge graphs, are used to capture and model the dynamic session context based on user interaction information from the mapping to the source of knowledge, such as session logs. According to the sequence of user interaction, can determine intent to sequence the higher level, and used to form expectations similar intentions but with different parameters of the model, the parameters including the parameters do not necessarily appear in the history of the use of. In this way, the conversational context model can be used to determine the interaction from the user may the next round \or in a given previous round or some rounds of the case\. Then the next language model and may turn to the corresponding interpolation, and provides its users receive recognition from to improve the accuracy of the next round.

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
支持语音的人机对话系统(如与娱乐系统或个人设备的语音交互)依赖于用户语音的准确识别。例如，有效的语音搜索应用必须准确地识别用户提交的查询或其它交互，以使得返回给用户的信息与用户提交查询或动作的意图相关。在与这些系统中的一个系统的一系列交互或“轮次”中，用户可能提交多个查询。通常，这些查询的内容在单词级别或词汇上从一个轮次改变到下一个，但它在同一个会话中通常在语义或意图级别上共享一些关联性。例如，用户可以询问电影，然后想知道正在播放该电影的剧院的附近位置。这种情况在结构化域(如娱乐系统或个人助理应用)中特别常见，在其中，为了完成任务，用户可以指定若干条信息。(例如，对于进行航班预订的任务来说，这可以包括指定出发和到达地点、航班日期、优选时间、优选航空公司等。)但是即使当用户的目标意图从一个轮次改变到下一个时，在连续查询之间仍然可能存在一些关联性或相关性；例如，在购买机票后预订租车或查找酒店。通过将该用户会话上下文信息并入由用于语音识别的对话系统使用的语言模型中，可以通过提供更好的目标和预测建模来提高系统的准确性。然而，用有限的过去数据(例如，直到当前时间的特定会话中的过去查询)在语义级捕捉该信息是具有挑战性的。此外，对会话上下文进行建模的现有努力仅考虑当前会话中的过去查询，并假设整个会话仅针对一个特定主题或意图。另外，这些方法不对用户在每个会话中采取的顺序动作进行建模。
技术实现思路
提供本
技术实现思路
以便以简化的形式对下面在具体实施方式中进一步描述的设计构思的选择进行介绍。本
技术实现思路
并不旨在确定要求保护的专利技术主题的关键特征或重要特征，也不旨在用于协助确定要求保护的专利技术主题的范围。本专利技术的实施例涉及用于通过将模型所使用的知识源适用于会话上下文来改进用于语音识别的语言模型和口语理解(SLU)模型的系统和方法。具体而言，知识源(如知识图)可以用于基于来自映射到知识源的使用历史(如会话日志)的用户交互信息来对动态会话上下文进行捕捉和建模。如将进一步描述的，在一个实施例中，通过并入来自用户或其它类似用户的使用历史的用户交互信息来将知识源适用于该用户的会话上下文。例如，可以将来自与应用或设备的用户交互或“轮次”的信息映射到知识源。基于映射的用户交互序列，确定意图序列模型。意图序列模型然后可以用于基于会话上下文来构建或适用语言模型和SLU模型，包括模型的实时生成和内插，从而用作会话上下文模型。以这种方式，该模型可以用于在给定此前的轮次或一些轮次的情况下确定一组可能的接下来的轮次。然后可以访问或生成该组可能的接下来的轮次的语言模型，以便于接下来的轮次的准确识别。一些实施例包括：使知识源适用于用于全局所有用户或仅用于特定用户组的模型会话上下文。例如，基于用户的社交网络数据、用户日志或其它用户信息，可以将并入知识源中的使用历史信息定制为具有类似兴趣或意图的用户。以这种方式，可以基于类似用户共同的群体特征来构建会话上下文模型。附图说明在附图中以示例而非限制的方式示出了本专利技术，在这些附图中，类似的附图标记指示类似的元素，并且其中，图1是可以在其中使用本专利技术的实施例的示例系统架构的框图；图2根据本专利技术的实施例描绘了个性化的知识图的一个示例的部分；图3根据本专利技术的实施例描绘了会话上下文模型的一个方面的说明性表示；图4-图6根据本专利技术的实施例描绘了用于基于用户历史使语言模型适用于会话上下文以便更好地理解未来交互的方法的流程图；图7-图8根据本专利技术的实施例描绘了用于基于用户历史信息来提供会话上下文模型的方法的流程图；图9根据本专利技术的实施例描绘了用于使用用会话上下文信息进行个性化的知识源来提供语言模型的方法的流程图；以及图10是适合用于实现本专利技术的实施例的示例性计算环境的框图。具体实施方式本专利技术的专利技术主题在本文中用具体细节来描述以满足法定要求。然而，该描述本身并非旨在限制本专利的范围。而是本专利技术考虑到也可以结合其它当前或未来的技术用其它方式来体现要求保护的专利技术主题以包括与与该文档中描述的步骤的不同步骤或与该文档中描述的步骤类似的步骤的组合。另外，虽然术语“步骤”和/或“框”可在本文中用于意指所使用的方法的不同的元素，但这些术语不应该被解释为暗示本文中公开的各个步骤之中或之间的任何特定的顺序，除非并且除了各个步骤的顺序被明确描述之外。概括地说，本文中描述的技术的方面除其它事项外涉及用于通过将语言模型所使用的知识源适用于会话上下文来改进用于语音识别的语言模型的系统、方法和计算机存储介质。具体而言，知识源(如知识图)可以用于基于来自映射到知识源的使用历史(如会话日志)的用户交互信息来对动态会话上下文进行捕捉和建模。通过将来自用户或类似用户的个人使用历史的用户交互信息映射或对准到知识源，知识源可适用于用户的会话上下文，从而针对用户或用户集合对知识源进行个性化。根据映射，可以基于来自映射周围的区域的可能的实体类型和相关信息来确定与每个交互相对应的用户意图。基于来自映射的用户交互信息的序列或模式，可以确定较高级别的意图序列，并将其用于形成预期类似意图但具有不同参数的模型，所述参数包括不一定出现在使用历史中的参数。在一个实施例中，模型包括指示从第一交互转移到第二交互的可能性的转移概率的集合。会话上下文模型可以用于基于先前的用户交互信息来确定关于与用户的可能的未来交互的信息(如用户提交的查询或其它用户交互)。基于可能的未来交互信息，可以生成或适用语言模型或SLU模型以改善与下一个交互相关联的语音识别和理解。通过举例的方式，在实施例中，将用户交互信息(例如来自用户查询日志的信息)映射到知识源(如知识图)的语义关系。用户交互信息可以包括来自用户和应用或设备之间的一个或多个会话的用户交互事件的序列(或模式)。根据映射，可以基于语义关系(如一个或多个实体、实体类型或关系)和/或与所映射的交互事件相对应的知识源中的其它信息来确定与每个所映射的用户交互事件相关联的可能的用户意图。基于与用户交互相关的信息的会话内的用户交互事件的映射和序列(或模式)，可以确定可能的用户意图的序列(或模式)并将其用于意图序列模型。在实施例中，意图序列模型包括意图序列(或模式)中的意图转移的统计(如意图转移概率的集合)，其表示在给定一个或多个先前意图的情况下，后续用户意图的可能性。意图序列模型可以用于基于会话上下文来构建或适用语言模型和SLU模型，包括语言模型和SLU模型的实时生成和内插，从而形成会话上下文模型。以这种方式，会话上下文模型可以用于在给定此前的轮次或一些轮次的情况下确定一组可能的接下来的轮次。然后可以访问或生成该组可能的接下来的轮次的语言模型，以便于接下来的轮次的准确识别。例如，在第一轮次中，用户询问其个人设备“谁是美丽人生的导演”。该查询可以映射到与电影-导演语义关系相对应的知识源的一部分(例如，美丽人生-导演为-罗伯托·贝尼尼)。根据基于知识源的会话上下文模型(已经填充有先前的个人使用历史信息)，可以确定在导演-电影类型的查询之后，存在0.4的概率在下一个轮次中用户将询问电影演员，存在0.2的概率用户接下来将询问奥斯卡或奖项，以及存在0.1的概率用户接下来将询问导演的国籍。基于这些转移概率，可以对与转移(例如，美丽人生的演员、其奖项或导演的国籍)相对应本文档来自技高网...

【技术保护点】
具有体现在其上的计算机可执行指令的一个或多个计算机可读介质，当由具有处理器和存储器的计算系统执行时，所述计算机可执行指令使所述计算系统执行用于基于用户历史来提供适用于会话上下文的语言模型的方法，所述方法包括：接收包括用户交互事件的一个或多个序列的使用历史信息；针对所述一个或多个序列中的每个事件，确定与所述事件相对应的可能的用户意图；基于针对每个事件所确定的所述可能的用户意图，确定意图转移概率的集合；以及使用所述意图转移概率的集合来生成针对所述用户进行个性化的语言模型。

【技术特征摘要】
【国外来华专利技术】2014.06.18 US 14/308,1741.具有体现在其上的计算机可执行指令的一个或多个计算机可读介质，当由具有处理器和存储器的计算系统执行时，所述计算机可执行指令使所述计算系统执行用于基于用户历史来提供适用于会话上下文的语言模型的方法，所述方法包括：接收包括用户交互事件的一个或多个序列的使用历史信息；针对所述一个或多个序列中的每个事件，确定与所述事件相对应的可能的用户意图；基于针对每个事件所确定的所述可能的用户意图，确定意图转移概率的集合；以及使用所述意图转移概率的集合来生成针对所述用户进行个性化的语言模型。2.根据权利要求1所述的一个或多个计算机可读介质，其中，所述使用历史信息包括一个或多个用户会话日志。3.根据权利要求1所述的一个或多个计算机可读介质，其中，所述转移概率的集合中的每个转移概率表示从与所述一个或多个序列中的第一序列中的第一事件相对应的第一意图向与所述一个或多个序列中的所述第一序列中的第二事件相对应的第二意图转移的可能性。4.根据权利要求1所述的一个或多个计算机可读介质，其中，所提供的语言模型是至少部分基于所述意图转移概率的集合中的意图转移概率的子集来进行内插的。5.一种用于基于用户历史信息来提供会话上下文模型的方法，所述方法包括：接收包括关于用户交互的一个或多个序列的信息的使用历史信息，每个序列至少包括第一交互和第二交互；针对所述一个或多个序列中的每个第一交互，确定与所述第一交互相对应的知识源的第一轮次部分；针对所述一个或多个序列中的每个第二交互，确定与所述第二交互相对应的知识源...

【专利技术属性】
技术研发人员：M·阿克巴恰克，D·Z·哈卡尼图尔，G·图尔，L·P·赫克，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US