改进语言模型的知识源个性化制造技术

提供了通过针对特定用户或用户群体特点将语言模型所使用的知识源个性化来改进用于话音识别的语言模型的系统和方法。通过将来自用户的使用历史如查询记录的实体或用户动作映射到知识源，对特定用户个性化诸如知识图的知识源。个性化知识源可用于通过利用对应于出现在使用历史中的实体或实体对的查询训练语言模型来构建个人语言模型。在一些实施例中，用于特定用户的个性化知识源可以基于类似用户的个性化知识源来进行扩展。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
语音使能的人机对话系统，诸如与娱乐系统或个人设备的语音交互，取决于用户话音的精确识别。例如，有效的语音搜索应用必须精确地识别用户提交的查询，从而返回给用户的信息与用户在提交查询时的意图相关。此类系统的精度能够通过将此类系统所使用的语言模型或口语语言理解(SLU)模型针对具体用户或一组类似用户而不是总的用户群体个性化来改进。现有的用于个性化语言和SLU模型的方法主要依赖于用户过去的某些类型的言辞以及来自用户记录的个人使用模式。这些方法假设与未来言辞的词汇相似度，诸如未来的用户查询；也即，用户将会询问与之前相同的问题。但是这些方法对于语义上或者类别上相似但是包含不同内容的未来言辞是无效的。特别地，这些方法不能提供用于在已经观察到的词语序列模式上扩展从而预测未见的用户查询的解决方案。
技术实现思路
提供该
技术实现思路
以便以简化的形式来引入下面的具体实施方式中进一步描述的概念的选择。该
技术实现思路
不旨在确定所要求保护的主题的关键特征或主要特征，也不旨在用于限定所要求保护的主题的范围。本专利技术的实施例涉及通过针对具体用户或用户群体特点调整语言模型所使用的知识源来改进用于话音识别的语言模型的系统和方法。特别地，通过将特定用户的个人使用历史信息并入，可以针对该特定用户个性化诸如知识图的知识源。如进一步所描述的，在一个实施例中，个人使用历史可以包括用户的网络查询记录、桌面或个人设备查询记录、社交网络交互、所访问的网站和类似的用户交互信息。从该数据，可以确定、提取实体和用户动作信息以及将其投射或映射到知识源上，从而针对用户个性化知识源。个性化知识源随后能够用于通过利用对应于在用户的使用历史信息中出现的实体或实体对的查询训练语言模型来构建个人语言模型。一些实施例还包括使用个性化知识源来确定具有类似的兴趣或意图的用户。以此方式，可以基于类似用户所共有的群体特点来构建语言模型。而且，在目标用户的个人使用历史稀少或未知的情况下，可基于对类似用户个性化的知识源来扩展或增强对该目标用户个性化的知识源。附图说明在附图中通过示例而不是限制的方式图示说明了本专利技术，在附图中相似的附图标记指代相似的元件，并且其中：图1是可以采用本专利技术的实施例的示例的系统架构的框图；图2描绘了依照本专利技术的实施例的个性化的知识图的一个示例的部分；图3-5描绘了依照本专利技术的实施例的基于用户历史来个性化特定用户的语言模型从而更好地理解该特定用户的未来查询的方法的流程图；以及图6是适合在实现本专利技术的实施例时使用的示范性的计算环境的框图。具体实施方式在本文具体地描述了本专利技术的主题以符合法规要求。然而，说明书本身不旨在限制该专利的范围。相反，专利技术人已经想到，要求保护的主题也可能与其它当前或未来的技术相结合而通过其它方式来具体实施，以包含类似于该文档中所描述的步骤的不同步骤或步骤的组合。而且，虽然术语“步骤”和/或“框”可在本文用来暗含所采用的方法的不同要素，该术语不应解释为暗示在本文公开的各步骤之中或之间的任何特定顺序，除非以及除了明确地描述各个步骤的顺序。在本文所描述的技术的方面一般涉及用于通过针对具体用户或用户群体特点来调整语言模型所使用的知识源来改进用于话音识别的语言模型或SLU模型以及其它事项的系统、方法和计算机存储介质。特别地，通过将用户信息并入知识源中，可以对特定用户个性化诸如知识图的知识源，从而创建个性化知识源。当创建个性化知识源时，可以使用用户的各种个人信息源以及更一般的知识源，诸如域数据库和知识图。个性化知识源随后可用于构建个性化语言模型，例如通过利用对应于用户的使用历史信息中出现的实体或实体对的查询训练语言模型。例如，在一个实施例中，通过将来自诸如查询记录和社交网络交互的各种个人源的个人使用历史信息映射到一般的知识图上，生成个性化知识图。然后，个性化知识图用于定制用户的语言模型以改善话音识别，例如通过使用个性化知识图中的实体关系来预测用户的未来查询。一些实施例还包括使用个性化知识源来确定具有类似兴趣或意图的用户，例如通过聚类(clustering)。以此方式，可基于类似用户所共有的群体特点来构建语言模型。而且，可以基于对类似用户个性化的知识源来扩展或增强针对特定用户个性化的知识源。因此，在新用户的个人使用历史稀少或未知的情况下，来自类似用户的信息，包括例如关于实体、实体关系对、意图或实体流行性的信息，可以用于训练新用户的语言模型。现在转到图1，提供了框图，示出了适合于实现本专利技术的实施例且通常由系统100指示的示例的系统架构的各方面。应当理解，本文所描述的该布置以及其它布置仅作为示例阐述。因此，系统100仅表示适合的计算系统架构的一个示例。除了或者不使用示出的那些可以使用其它的布置和元素(例如，用户设备、数据库等)，并且一些元素可为了清晰的原因而一起省去。此外，本文所描述的多个元素是可以实现为离散的或分布的组件或者与其它组件相结合来实现以及在任何适合的组合和位置实现的功能实体。在本文中描述为由一个或多个实体所执行的各种功能可以通过硬件、固件和/或软件来实施。例如，一些功能可以通过处理器执行存储在存储器中的指令来实施。在未示出的其它组件中，系统100包括与一个或多个用户设备(例如，项102和104)通信耦合的网络115、存储设备106以及个性化知识源生成器120。图1所示的组件可以利用一个或多个计算设备，诸如结合图6所描述的计算设备600来实现。网络115可以包括但不限于一个或多个局域网(LAN)和/或广域网(WAN)。这些联网环境常见于办公室、企业域计算机网络、内联网和因特网。应当理解，可以在本专利技术的范围内在系统100内采用任何数量的用户设备、存储组件和个性化知识源生成器。每个均可以包括单个设备或在分布式环境中配合的多个设备。例如，个性化知识源生成器120可以经由布置在统一地提供本文所描述的功能的分布式环境中的多个设备来提供。另外，未示出的其它组件也可以包含在网络环境内。例如，还可以提供知识图数据库以便单独地存储能够易于由本文所描述的实施例访问的知识图。示例的用户设备102和104各自包括能够接收来自用户的输入的任意类型的用户设备，诸如下文所述。虽然图1示出了两个示例的用户设备102和104，但是用户可以仅与一个用户设备或多于两个的设备相关联。在一些实施例中，接收到来自用户的输入的用户设备与用户的用户标识相关联。在一个实施例中，用户设备102和104可以是关于本文的图6所描述的类型的计算设备。通过示例而不是限制的方式，用户设备可具体实现为个人数据助理(PDA)、移动设备、膝上型设备、平板设备、远程控件、娱乐系统、车辆计算机系统、嵌入式系统控制器、电器、消费电子设备、或者能够接收来自用户的输入的其它电子设备。输入可通过多个不同模态中的一个接收，诸如通过示例而不是限制的方式，通过语音或声音、文本、触摸、点击、姿势、用户的物理环境或结合图6所描述的其它输入技术。例如，用户可以使用搜索引擎来输入查询，打算接收与查询高度相关的信息。或者，用户可以与一个或多个社交网站交互并且提供用户打算与朋友或者甚至陌生人共享的输入。用户还可以与社交网站交互，表明用户已经阅读且喜欢另一用户的发帖。此外，用户可以对游戏系统、电视机等使用语音命令。所有这些形式的输入以及其本文档来自技高网...

【技术保护点】
一种具有具体实施在其上的计算机可执行指令的一个或多个计算机可读介质，当由具有处理器和存储器的计算系统执行时，所述计算机可执行指令使所述计算系统执行用于基于用户历史信息对特定目标用户的语言模型进行个性化的方法，所述方法包括：接收来自一个或多个源的目标用户的使用历史信息；解析所述使用历史信息以确定实体或用户动作中的一个或多个；将所述实体或所述用户动作中的一个或多个映射到知识源，从而创建个性化知识源；以及利用所述个性化知识源来对所述目标用户的语言模型进行个性化。

【技术特征摘要】
【国外来华专利技术】2014.05.16 US 14/280,0701.一种具有具体实施在其上的计算机可执行指令的一个或多个计算机可读介质，当由具有处理器和存储器的计算系统执行时，所述计算机可执行指令使所述计算系统执行用于基于用户历史信息对特定目标用户的语言模型进行个性化的方法，所述方法包括：接收来自一个或多个源的目标用户的使用历史信息；解析所述使用历史信息以确定实体或用户动作中的一个或多个；将所述实体或所述用户动作中的一个或多个映射到知识源，从而创建个性化知识源；以及利用所述个性化知识源来对所述目标用户的语言模型进行个性化。2.如权利要求1所述的一个或多个计算机可读介质，其中知识源包括知识图，并且所述个性化知识源包括个性化知识图。3.如权利要求1所述的一个或多个计算机可读介质，其中使用历史包括与所述目标用户相关的并且作为所述目标用户关于用户设备采取的动作的结果的数据。4.如权利要求1所述的一个或多个计算机可读介质，其中所述一个或多个源包括与所述目标用户相关联的一个或多个查询记录、由所述目标用户访问的网站、所述目标用户的在线购买历史、由所述目标用户执行的社交网络交互、或者由所述目标用户在用户设备上采取的动作；并且其中所述用户动作包括由所述目标用户对到网页的链接的选择或者由所述目标用户对网页上的物品的购买。5.如权利要求1所述的...

【专利技术属性】
技术研发人员：M·阿克巴恰克，D·Z·哈卡尼图尔，G·图尔，L·P·赫克，B·杜莫林，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US