使用音频流识别与当前播放的电视节目相关联的元数据制造技术

本申请涉及使用音频流识别与当前播放的电视节目相关联的元数据。公开了用于使用音频流来识别与当前播放的电视节目相关联的元数据的系统和方法。接收包括隐藏字幕的视频流。从隐藏字幕确定信息集。将包括信息集的请求发送到远离客户端的服务器以便另外处理。从服务器接收指令集。基于所述信息集的另外的处理来确定指令集。响应于接收指令集，根据该指令集来执行一个或多个应用。

Using audio streams to identify metadata associated with currently playing television programs

【技术实现步骤摘要】
使用音频流识别与当前播放的电视节目相关联的元数据分案说明本申请属于申请日为2014年3月13日的中国专利技术专利申请No.201480028082.9的分案申请
本描述通常涉及被配置成呈现与播放的电视节目相关联的互联网可访问内容的系统、方法和设备。
技术介绍
视频内容有时包括提示观众采取与视频的内容有关的某个动作的听觉或视觉消息。例如，电视广告可以提示用户访问与广告的产品相关联的产品网站来获得有关产品的优惠券或信息。在另一示例中，在广播电视节目或电影期间，消息可能出现，提示观众访问网站来观看有关在电视节目或电影中描述或相关联的人物、地点或事物的信息。即使没有被提示，许多用户对与他们正观看的视频内容有关的人物、地点或事物感兴趣。通常，为获得与视频流相关的信息，用户需要使用上网功能的设备访问网站。现有的方法是低效的，因为它们要求用户采取观看体验外的某个动作。而且，许多观众可能错过或忽略提供有关视频内容的附加信息的音频消息和视觉消息，对许多观众来说，在观看视频内容的同时，不方便操作计算设备。
技术实现思路
在此所述的方法和系统提供在用户观看视频内容的同时显示与视频内容相关的信息的高效方式。例如，可以在显示设备上显示有关茶的广告，当用户正观看该广告时，连接到显示设备的客户端设备解析隐藏字幕内容来获得信息集，将信息集发送到服务器，从服务器获得指令集并且根据接收的指令集来执行一个或多个功能。一个或多个功能显示有关隐藏字幕内容的信息。在该示例中，指令集包括执行一个或多个应用的指令，所述应用诸如显示具有有关特定类型或品牌的茶的网页的浏览器、示出有关制作茶的教学视频的媒体播放器、显示有关茶的文章的馈送阅读器应用或呈现作为广告的主题的茶的优惠券的优惠券簿应用的指令。当正播放广告时，执行一个或多个应用，并且在显示设备上，与广告一起同时显示一个或多个应用。根据一些实现，提供系统和方法来显示信息。在客户端设备接收包括隐藏字幕的视频流。从隐藏字幕的内容确定信息集。将包括信息集的请求发送到远离客户端设备的服务器以便处理。从服务器接收指令集。指令集包括显示与信息集有关的信息的指令。响应于接收指令集，根据指令集来执行一个或多个应用。根据一些实现，在服务器接收包括从视频流中的隐藏字幕内容提取的信息集的客户请求。从信息集识别一个或多个相关标识。确定与信息集相关联的指令集。将指令集发送到客户端。本公开的另一方面包括一种方法的实现，包括在具有一个或多个处理器和存储将由一个或多个处理器执行的一个或多个程序的存储器的计算设备处：获得视频流，视频流包括音频描述数据；从音频描述数据确定信息集，其中信息集包括从音频描述数据取得的一个或多个符号或词；将包括信息集的请求发送到远离计算设备的服务器以便处理；从服务器接收指令集，其中指令集包括用于显示与信息集有关的内容信息的指令；以及响应于接收指令集并且根据指令集，基于内容信息的类型来执行一个或多个应用，其中一个或多个应用包括下述中的至少一个：Web浏览器、音乐应用、馈送阅读器应用、优惠券应用和内容观看器。在一些实现中，该方法进一步包括格式化来自一个或多个应用的输出以与视频流的显示相邻地显示。在一些实现中，信息集包括从音频描述数据取得的非语音信息。在一些实现中，信息集包括从音频描述数据提取的至少一个符号。在一些实现中，信息集包括从音频描述数据提取的至少一个句子。在一些实现中，与视频流并发地显示来自一个或多个应用的输出。在一些实现中，在与计算设备同步的第二设备上并发地显示来自一个或多个应用的输出。在一些实现中，从音频描述数据确定信息集包括应用语音识别技术来将音频内容转换成文本。在一些实现中，从音频描述数据确定信息集包括将音频描述数据转换成文本，而不播放音频描述数据使得音频描述数据能被听到。在一些实现中，信息集包括从音频描述数据提取的至少一些文本。在一些实现中，该方法进一步包括：传送发起包括在音频描述数据中的音频内容的播放的代码；记录音频内容的至少一部分；以及从记录的音频内容提取文本。在本公开中，还提供用于执行上述方法的一个或多个步骤的计算系统和非瞬时计算机可读存储介质。附图说明因此，能更详细地理解本公开，参考各个实现的特征给出更特定描述，在附图中示出一些。然而，附图仅示出本公开的更相关特征，因此不视为限制，因为本说明书容许其他有效的特征。图1是图示根据一些实现的分布式客户端-服务器系统的框图。图2A是图示根据一些实现的示例性服务器系统的结构的框图。图2B是图示根据一些实现的示例性广播系统的结构的框图。图3是图示根据一些实现的示例性客户端设备的结构的框图。图4是图示显示信息的过程的概述的流程图。图5A、5B、5C、5D和5E是根据一些实现的示例性截屏。图6是图示显示信息的过程的流程图。图7是图示基于从隐藏字幕提取的信息集来确定指令集的过程的流程图。图8是客户端-服务器环境的实现的图。图9A是根据一些实现的电视显示的示例性截屏的示意图。图9B是根据一些实现的电视显示和第二屏幕客户端设备(即平板电脑)的示意图。图10是图示使用包括在节目数据中的音频描述数据来显示相关联的内容和信息的过程的概述的信号流图。图11是使用包括节目数据中的音频描述数据来显示相关联的内容和信息的方法的实现的流程图表示。图12是基于从音频描述数据提取的信息集来确定指令集的方法的实现的流程图表示。根据一般实践，在图中所示的各个特征可以不按比例绘制。因此，为清楚起见，各个特征的尺寸可以任意地扩大或缩小。此外，图可以不描述给定系统、方法或设备的所有部件，因为为简化起见，未详尽地描述已知方法、部件和电路。最后，在整个说明书和图中，使用相同的参考数字来表示相同的特征。具体实施方式在此所述的各个实现包括能识别并且实时地呈现与在电视或显示器上并发播放的特定电视节目相关联的互联网可访问和/或基于互联网的功能、内容和/或服务作为交互电视技术套件的一部分的系统、方法和/或设备。在一些实现中，识别相关联的内容的过程包括分析包括在用于媒体(例如电视)节目的视频流数据中的隐藏字幕数据和音频描述数据中的至少一个。例如，本公开的一个方面是通过获得包括在用于媒体节目的视频流数据中的隐藏字幕数据和音频描述数据中的至少一个、从包括在视频流数据中的隐藏字幕数据和音频描述数据中的至少一个提取文本、基于提取的文本中的至少一些传送对信息的请求，以及显示响应于该请求接收的相关联的内容和/或信息，识别和呈现与媒体节目相关联的内容的方法。在此描述许多细节以便提供在附图中所图示的示例性实现的全面理解。然而，在没有这些具体细节的情况下，也可以实施本专利技术。未以详尽地方式描述非常公知的方法、过程、部件和电路，以便不必要地混淆示例性实现的更相关方面。图1是图示为一些实现而实现的分布式系统100的框图。客户端-服务器系统100包括：一个或多个客户端设备102、通信网络104、服务器系统106、显示设备108和广播系统128。服务器系统106通过通信网络104耦接到一个或多个客户端设备102和广播系统128。广播系统128将视频流161广播到一个或多个客户端设备102。服务器系统106接收包含从隐藏字幕内容取得的信息集的请求，基于信息集来确定指令集并且将指令集发送到客户端设备102以便执行。当由客户端设备本文档来自技高网...

【技术保护点】
1.一种方法，包括：在具有一个或多个处理器和存储由所述一个或多个处理器执行的一个或多个程序的存储器的计算设备处：获得用于媒体节目的视频流的音频描述数据，所述音频描述数据包括描述在所述视频流的主音频内容和所述主音频内容中的自然停顿中的一个或多个期间在所述媒体节目中正在视觉发生的事的同步音频解说词，其中，所述音频描述数据与所述视频流的主音频内容不同；在所述音频描述数据中识别包括一个或多个强调词的信息项集合，其中，所述一个或多个强调词在识别与一个或多个强调词有关的一个或多个内容文件的信息方面是相关的；发送所述一个或多个强调词到服务器；在发送所述一个或多个强调词到所述服务器之后，从所述服务器获得与所述一个或多个强调词有关的所述一个或多个内容文件的所述信息，其中，所述服务器与所述视频流的源不同；以及响应于获得所述一个或多个内容文件的所述信息，在没有用户介入的情况下，使得应用被调用以用于将所述一个或多个内容文件呈现给所述计算设备的用户。

【技术特征摘要】
2013.03.14 US 61/785,518;2013.06.25 US 13/927,015;1.一种方法，包括：在具有一个或多个处理器和存储由所述一个或多个处理器执行的一个或多个程序的存储器的计算设备处：获得用于媒体节目的视频流的音频描述数据，所述音频描述数据包括描述在所述视频流的主音频内容和所述主音频内容中的自然停顿中的一个或多个期间在所述媒体节目中正在视觉发生的事的同步音频解说词，其中，所述音频描述数据与所述视频流的主音频内容不同；在所述音频描述数据中识别包括一个或多个强调词的信息项集合，其中，所述一个或多个强调词在识别与一个或多个强调词有关的一个或多个内容文件的信息方面是相关的；发送所述一个或多个强调词到服务器；在发送所述一个或多个强调词到所述服务器之后，从所述服务器获得与所述一个或多个强调词有关的所述一个或多个内容文件的所述信息，其中，所述服务器与所述视频流的源不同；以及响应于获得所述一个或多个内容文件的所述信息，在没有用户介入的情况下，使得应用被调用以用于将所述一个或多个内容文件呈现给所述计算设备的用户。2.根据权利要求1所述的方法，其中，在所述音频描述数据中识别包括一个或多个强调词的信息项集合包括：将所述音频描述数据转换成文本数据；以及在所述文本数据中识别包括所述一个或多个强调词的所述信息项集合。3.根据权利要求1所述的方法，进一步包括：从所述服务器获得用于在所述计算设备上执行的指令集，其中，所述指令集包括在所述计算设备上执行所述应用并且在所述计算设备上使用所述应用呈现所述一个或多个内容文件的指令。4.根据权利要求3所述的方法，其中，所述指令集根据与所述计算设备的所述用户相关联的偏好来确定。5.根据权利要求4所述的方法，其中，所述偏好包括：相对于第二媒体内容应用所述用户对第一媒体内容应用的偏好。6.根据权利要求4所述的方法，其中，所述偏好包括：相对于第二类型的媒体内容所述用户对第一类型的媒体内容的偏好。7.根据权利要求1所述的方法，其中，所述一个或多个强调词包括与人、地点或事物相关联的名词，并且所述一个或多个内容文件的所述信息包括到关于由所述名词所识别的所述人、地点或事物的网页的链接。8.根据权利要求1所述的方法，其中，所述应用基于所述一个或多个内容文件的类型来确定。9.根据权利要求8所述的方法，其中，所述应用选自由Web浏览器应用、音乐应用、馈送阅读器应用和优惠券应用组成的组。10.根据权利要求1所述的方法，其中，使得所述应用被调用以用于呈现所述一个或多个内容文件进一步包括：与在与第二显示设备不同的第一显示设备上显示所述视频流一起同时使得所述应用被调用以用于在所述第二显示设备上将所述一个或多个内容文件呈现给所述计算设备的所述用户。11.一种计算系统，包括：一个或多个处理器；存储器；以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中并且被配置成由所述一个或多个处理器执行，所述一个或多个程序包括用于以下操作的指令：获得用于媒体节目的视频流的音频描述数据，所述音频描述数据包括描述在所述视频流的主音频内容和所述主音频内容中的自然停顿中的一个或多个期间在所述媒体节目中视觉正在发生的事的同步音频解说词，其中，所述音频描述数据与所述视频流的主音频内容不同；在所述音频描述数据中识别包括一个或多个强调词的信息项集合，其中，所述一个或多个强调词在识别与一个或多个强调词有关的一个或多个内容文件的信息方面是相关的；发送所述一个或多个强调词到服务器；在发送所述一个或多个强调词到所述服务器之后，从所述服务器获得与所述一个或多个强调词有关的所述一个或多个内容文件的所述信息，其中，所述服务器与所述视频流的源不同；以及响应于获得所述一个或多个内容文件的信息，在没有用户介入的情况下，使得应用被调用以用于将所述一个或多个内容文件呈现给所述计算系统的用户。12.根据权利要求11所述的计算系统，其中，所述一个或多个词包括一个或多个符号。13.根据权利要求11所述的计算系统，其中，所述一个或多个词包括一个或多个特殊字符之后的预定量的文本。14.根据权利要求13所述的计算系统，其中，所述一个或多个内容文件选自由网页、视频剪辑、图片、歌曲和新闻故事组成的组、与所述一个或多个特殊字符之后的文本相关联、并且根据基于用户的与所述内容文件相关联的度量被确定为是感兴趣的。15.根据权利要求11所述的计算系统，其中，所述一个或多个词包括与人相对应的名词，并且所述一个或多个内容文件的所述信息包括与由所述名词所识别的所述人相关联的媒体项的媒体播放列表。16.根据权利要求11所述的计算系统，进一步包括用于以下操作的指令：根据所述一个或多个强调词来确定用于所述视频流的内容类别，其中，用于在所述计算系统上执行的指令集包括：根据所确定的媒体内容类别显示内容信息的指令。17.一种存储一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序被配置为由计算系统的一个或多个处理器执行，所述一个...

【专利技术属性】
技术研发人员：史蒂文·凯斯·海因斯，廷博·德雷森，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国,US