使用环境上下文回答问题制造技术

本发明专利技术的各实施方式涉及使用环境上下文回答问题。包括在计算机存储介质上编码的计算机程序的方法、系统和装置，用于接收编码发声和环境数据的音频数据；获取发声的转写文本；使用环境数据标识实体；向自然语言查询处理引擎提交查询，其中查询至少包括转写文本的一部分和标识实体的数据；以及获取查询的一个或多个结果。

Answer questions using context

Each embodiment of the present invention relates to the use of context context to answer questions. System method and apparatus, including computer program encoding in computer storage media, for receiving audio data and voice encoding data acquisition; transfer text sound; use of environmental data to identify the entity; natural language query processing engine query, the query includes at least a part of transfer text and identifies the entity data; and one or more access to query results.

【技术实现步骤摘要】
分案申请说明本申请是于2013年4月5日提交的、申请号为201310394518.3、名称为“使用环境上下文回答问题”的中国专利技术专利申请的分案申请。相关申请的交叉引用本申请要求以下美国专利申请的权益，在此通过引用合并其全部内容：2012年9月10日提交的，专利申请号为No.61/698,934的美国临时专利申请；2012年9月10日提交的，专利申请号为No.61/698,949的美国临时专利申请；2012年9月25日提交的，专利申请号为No.13/626,439的美国专利申请；2012年9月25日提交的，专利申请号为No.13/626,351的美国专利申请；以及2013年2月15日提交的，专利申请号为No.13/768,232的美国专利申请。
本说明书涉及标识基于自然语言查询和环境信息的查询结果，例如使用环境信息作为上下文来回答问题。
技术介绍
通常，搜索查询包括当用户请求搜索引擎执行搜索时用户提交给搜索引擎的一个或多个术语。除了其它方式之外，用户可以通过在键盘上打字或在话音查询的上下文中通过将查询术语口述到移动设备的麦克风中来录入搜索查询的查询术语。可以使用语音识别技术来处理话音查询。
技术实现思路
根据本说明书中描述的主题的一些创新方面，环境信息(诸如环境噪声)可以辅助查询处理系统回答自然语言查询。例如，用户可以询问关于他们正在收看的电视节目的问题，诸如“这部电影中的演员是谁？”。用户的移动设备检测用户的发声(utterance)和环境数据，环境数据可以包括电视节目的配乐音频。移动计算设备将发声和环境数据编码为波形数据，并将该波形数据提供给基于服务器的计算环境。计算环境将发声从波形数据的环境数据分离，并且继而获取发声的转写文本。计算环境诸如通过标识电影的名称进一步标识与环境数据和发声相关的实体数据。计算环境继而可以从转写文本和实体数据标识一个或多个结果，例如，响应于用户的问题的结果。特别地，一个或多个结果可以包括对用户的“这部电影中的演员是谁”的问题的回答(例如，演员的姓名)。计算环境可以向移动计算设备的用户提供这种结果。本说明书中所描述的主题的创新方面可以体现于方法中，该方法包括以下动作：接收编码发声和环境数据的音频数据，获取发声的转写文本，使用环境数据标识实体，向自然语言查询处理引擎提交查询，其中查询至少包括转写文本的一部分和标识实体的数据，以及获取查询的一个或多个结果。这些方面的其它实施方式包括对应的系统、装置和在计算机存储设备上编码的计算机程序，其被配置为执行方法的动作。这些和其它实施方式可以各自可选地包括下列特征中的一个或多个特征。例如，输出结果中的至少一个结果的表示。进一步使用发声标识实体。生成查询。生成查询包括将转写文本与标识实体的数据关联。关联进一步包括使用标识实体的数据标记转写文本。关联进一步包括使用标识实体的数据代替转写文本的一部分。代替进一步包括使用标识实体的数据代替转写文本的一个或多个单词。接收环境数据进一步包括接收环境音频数据、环境图像数据或者二者。接收环境音频数据进一步包括接收包括背景噪声的附加的音频数据。根据本专利技术书中描述的主题的一些创新方面，基于环境音频数据和口述的自然语言查询标识媒体内容的项目。例如，用户可以询问关于他们正在收看的电视节目的问题，诸如“我们正在观看什么？”。问题可以包括关键词，诸如“观看”，其建议问题是关于电视节目而不是一些其它类型的媒体内容。用户的移动设备检测用户的发声和环境数据，环境数据可以包括电视节目的配乐音频。移动计算设备将发声和电视环境数据编码为波形数据，并将该波形数据提供给基于服务器的计算环境。计算环境将发声与波形数据的环境数据分离，并且继而处理发声以获得发声的转写文本。计算环境从该转写文本检测任意特定内容类型的关键词，诸如关键词“观看”。计算环境可以继而基于环境数据标识媒体内容的项目，并可以从标识的项目选择媒体内容的特定项目，其与和关键词关联的特定内容类型匹配。计算环境向移动计算设备的用户提供媒体内容的特定项目的表示。本说明书中描述的主题的创新方面可以体现于方法中，其包括以下动作：接收(i)编码口述自然语言查询的音频数据，以及(ii)环境音频数据，获取口述自然语言查询的转写文本，确定与转写文本中的一个或多个关键词关联的特定内容类型，向内容识别引擎提供至少环境音频数据的一部分，标识已经由内容识别引擎输出并匹配特定内容类型的内容项目。这些方面的其它实施方式包括对应的系统、装置和在计算机存储设备上编码的计算机程序，其被配置为执行方法的动作。这些和其它实施方式可以各自可选地包括下列特征中的一个或多个。例如，特定内容类型是电影内容类型、音乐内容类型、电视节目内容类型、音频播客内容类型、书籍内容类型、艺术品内容类型、预告片内容类型、视频播客内容类型、因特网视频内容类型或视频游戏内容类型。接收环境音频数据进一步包括接收包括背景噪声的附加的音频数据。背景噪声与特定内容类型关联。接收包括视频数据或图像数据的附加的环境数据。视频数据或图像数据与特定内容类型关联。向内容识别引擎提供至少环境音频数据的该一部分进一步包括向音频指纹识别引擎提供环境音频数据的该一部分。确定特定内容类型进一步包括使用一个或多个数据库标识一个或多个关键词，对于多个内容类型中每个内容类型，数据库将关键词中的至少一个关键词映射到多个内容类型中的至少一个内容类型。多个内容类型包括特定内容类型，并且其中映射进一步包括将关键词中的至少一个关键词映射到特定内容类型。输出标识内容项目的数据。特征进一步包括，例如，提供进一步包括将标识特定内容类型的数据提供给内容识别引擎，以及标识内容项目进一步包括从内容识别引擎接收标识内容项目的数据。从内容识别系统接收两个或更多个内容识别候选者，以及标识内容项目进一步包括基于特定内容类型选择特定内容识别候选者。两个或更多个内容识别候选者中的每个内容识别候选者与排名得分关联，该方法进一步包括基于特定内容类型调整两个或更多个内容识别候选者的排名得分。基于调整的排名得分对两个或更多个内容识别候选者排名。本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐明。主题的其它潜在特征、方面和优点将从说明书、附图和权利要求中变得明显。附图简要描述图1描绘了用于基于环境音频数据和口述自然语言查询标识内容项目数据的示例系统。图2描绘了用于基于环境音频数据和口述自然语言查询标识内容项目数据的示例过程的流程图。图3A-图3B描绘了用于标识内容项目的示例系统的多个部分。图4描绘了用于基于环境图像数据和口述自然语言查询标识媒体内容项目的示例系统。图5描绘了用于基于环境音频数据和发声标识一个或多个结果的系统。图6描绘了用于基于环境数据和发声标识一个或多个结果的示例过程的流程图。图7描绘了可以用于实现此处所描述的技术的计算机设备和移动计算机设备。不同附图中的相同参考标记表示同样的元件。具体实施方式使用环境信息作为上下文回答口述自然语言查询的计算环境可以使用多个过程处理查询。在一些过程的示例中，如图1到图4中所示，计算环境可以基于环境信息(诸如周围噪声)来标识媒体内容。在其它过程的示例中，如图5和图6中所示，为了提供对口述自然语言查询的更加满意的回答，计算环境可以本文档来自技高网...

【技术保护点】
一种计算机实施的方法，包括：由移动设备生成以下各项的音频记录：(i)已被询问的、关于媒体内容的项目的口述自然语言问题，所述自然语言问题未对媒体内容的所述项目命名也未请求媒体内容的所述项目的名称，以及(ii)环境声音，所述环境声音与媒体内容的所述项目的重放关联并且与正被询问的所述问题同时地被记录；以及响应于所述问题，由所述移动设备提供对所述问题的、关于媒体内容的所述项目的回答。

【技术特征摘要】
2012.09.10 US 61/698,934;2012.09.10 US 61/698,949;1.一种计算机实施的方法，包括：由移动设备生成以下各项的音频记录：(i)已被询问的、关于媒体内容的项目的口述自然语言问题，所述自然语言问题未对媒体内容的所述项目命名也未请求媒体内容的所述项目的名称，以及(ii)环境声音，所述环境声音与媒体内容的所述项目的重放关联并且与正被询问的所述问题同时地被记录；以及响应于所述问题，由所述移动设备提供对所述问题的、关于媒体内容的所述项目的回答。2.根据权利要求1所述的计算机实施的方法，还包括：标识对应于所述问题的一个或者多个关键字，将所述一个或者多个关键字与媒体内容的一个或者多个类型关联，以及基于所述问题和媒体内容的所述一个或者多个类型来提供所述回答。3.根据权利要求2所述的计算机实施的方法，其中媒体内容的所述一个或者多个类型包括以下各项...

【专利技术属性】
技术研发人员：M·沙里菲，G·波斯特尔尼丘，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国;US