用于选择在用户设备上呈现媒体资产期间在用户设备附近显示的补充内容的方法和系统技术方案

本文提供了用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的方法和系统。通常，当在用户家中显示时媒体资产的回放限于单个显示器，诸如在电视机或平板电脑上。通过在媒体资产的呈现期间选择用于在用户设备附近显示的补充内容，媒体资产的回放将涵盖多个显示器并为用户提供更沉浸式的观看体验。

Method and system for selecting supplementary content displayed near user equipment during presentation of media assets on user equipment

This article provides a method and system for selecting supplementary content for display near a user device during presentation of media assets on a user device. Usually, when displayed in a user's home, the playback of media assets is limited to a single display, such as a TV or tablet computer. By selecting supplementary content to be displayed near the user's device during the presentation of the media asset, the playback of the media asset will cover multiple displays and provide users with a more immersive viewing experience.

【技术实现步骤摘要】
【国外来华专利技术】用于选择在用户设备上呈现媒体资产期间在用户设备附近显示的补充内容的方法和系统相关申请的交叉引用本申请要求于2016年5月27日提交的美国实用专利申请No.15/167,035和于2016年5月27日提交的美国实用专利申请No.15/167,146的优先权。这些申请的内容通过引用整体并入本文。
技术介绍
虽然在电影院中看电影利用大型显示器和环绕声系统为用户提供了沉浸式观看体验，但是用户在家中的观看体验远没有那么具有沉浸感。这是由于各种因素的综合作用，包括由于技术和实际原因而有限的电视机尺寸。有必要找到替代方式来为用户提供同样沉浸式但更适合家庭环境的替代观看体验。增加用户家中显示器尺寸的问题之一是缺乏空间。无论是出于技术原因还是实际原因，电视机都有尺寸限制。如果有可用的墙壁空间，那么投影仪可以提供更大的显示器，但需要更多的考虑因素，诸如可用墙壁空间的维度以及如何布置房间，使得投影仪可以投射到墙壁上而不被另一件家具挡住。为了提供沉浸式显示，有必要提供可以克服这些问题的系统。
技术实现思路
在用户家中设置的传统电视机是有限的，并且可能无法向用户提供沉浸式观看体验。通过提供要在用户设备附近显示的补充内容，扩展媒体资产的显示以包括更加沉浸式的观看体验。通过确定要显示什么补充内容以及确定将其显示在何处以便为用户获得全部效果来完成提供沉浸式体验的附加内容的这种显示。本文提供的方法和系统不是在电视机上具有单个内容显示，而是描述确定哪些补充内容是相关的以及在用户周围的房间中显示补充内容的位置以最大化用户的沉浸式观看体验。在一些方面，本文提供了用于在用户设备上呈现媒体资产期间选择在用户设备附近显示的补充内容的方法和系统。通常，当在用户家中显示时媒体资产的回放限于单个显示器，诸如在电视机或平板电脑上。通过在媒体资产的呈现期间选择用于在用户设备附近显示的补充内容，媒体资产的回放将涵盖多个显示器并为用户提供更沉浸式的观看体验。在一些方面，本文提供了用于媒体指南应用的方法和系统，用于选择在用户设备上呈现媒体资产期间用于在用户设备附近显示的补充内容。媒体指南应用在用户设备上呈现媒体资产期间监测一个或多个帧。用户设备可以是电视机、平板电脑、智能电话或显示媒体资产的任何其它用户设备。媒体指南应用可以在用户设备上本地运行、在连接到用户设备的远程服务器上运行，或者其任意组合。例如，媒体指南应用可以经由远程服务器在电影显示在电视机上时监测电影。媒体指南应用在呈现媒体资产期间选择指示该媒体资产中的新场景的帧。例如，媒体指南应用可以通过监测电影来选择开始电影的新场景的帧。在另一个示例中，电影或其它媒体资产可以具有指示每个新场景的标签并且，通过监测电影和场景标签，媒体指南应用可以选择已被标记为开始新场景的帧。媒体指南应用识别在所选择的帧中表示的物体和位置中的至少一个。例如，媒体指南应用可以分析帧以确定帧中的物体。在一些实施例中，媒体指南应用识别所选择的帧中的关键特征。关键特征是描述帧的元素的信息并且可以描述具体的结构元素，诸如帧中存在的图像的边缘、拐角、点、线、脊或区域。例如，媒体指南应用可以使用边缘检测来分析帧并确定帧中一系列边缘的存在。在一些实施例中，媒体指南应用将识别出的关键特征与物体数据库进行比较。例如，媒体指南应用可以访问包括与诸如边缘之类的关键特征相关联的物体的数据库，并将在帧中找到的边缘与和物体数据库中的每个物体相关联的边缘进行比较。在一些实施例中，媒体指南应用基于比较来识别所选择的帧中的物体。例如，基于比较，媒体指南应用可以确定在帧中找到的一些边缘与树相关联。在另一个示例中，媒体指南应用可以确定在帧中找到的一些边缘与鸟相关联。在一些实施例中，媒体指南应用基于所选择的帧中的物体搜索动作数据库。例如，媒体指南应用可以搜索将物体与动作相关联的动作数据库，从而搜索与鸟相关联的任何动作。在一些实施例中，媒体指南应用识别在所选择的帧中发生的与物体相关联的动作。例如，基于动作数据库，媒体指南应用可以识别出在如帧中所示的朝向上的鸟与飞行动作相关联，而不是栖息在树枝上。在另一个示例中，媒体指南应用可以基于识别帧中的船来识别航行动作。在一些实施例中，媒体指南应用在位置数据库中搜索与物体相关联的位置。例如，媒体指南应用可以在位置数据库中搜索与树相关联的位置。在一些实施例中，媒体指南应用基于与物体相关联的位置来识别所选择的帧中的位置。例如，媒体指南应用可以基于孤独棕榈树的存在来确定与该帧相关联的位置是热带气候中的一般外部场景。在一些实施例中，媒体指南应用将所选择的帧的关键特征与包括对位置的表示的分析的位置数据库进行比较。关键特征是描述帧元素的信息片段并且可以描述具体的结构元素，诸如帧中存在的图像的边缘、拐角、点、线、脊或区域。例如，媒体指南应用可以分析帧，以确定帧的图像的特征。在一些实施例中，媒体指南应用基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定在所选择的帧中表示的位置。例如，媒体指南应用可以基于图像的特征来确定帧正在显示森林。媒体指南应用确定与物体和位置中的至少一个相关联的情节(plot)信息。例如，媒体指南应用可以基于场景中识别出的物体确定与情节相关联的关键词。在一些实施例中，媒体指南应用搜索情节信息数据库以识别与物体和位置中的至少一个以及在所选择的帧中发生的动作相关联的情节信息。情节信息可以包括描述所选择的帧的情节的关键词。例如，如果媒体指南应用识别出游轮、棕榈树和云以确定航行动作和一般热带气候的位置，那么媒体指南应用可以搜索情节信息数据库并识别出“荒岛”、“海洋”、“船舶”、“航行”、“风暴”和“波浪”关键词形式的情节信息。在一些实施例中，指南应用确定与物体和位置中的至少一个及动作相关联的公共关键词。例如，一般热带气候的位置或航行动作可以与附加情节信息(诸如“钓鱼”)相关联。但是，由于“钓鱼”与任何识别出的物体(游轮、棕榈树和云)不关联，因此它不是公共关键词。在一些实施例中，媒体指南应用基于公共关键词来确定识别出的情节信息。在一些实施例中，媒体指南应用检索与所选择的帧相关联的元数据。元数据可以包括与所选择的帧相关联的隐藏字幕数据和标签。在一些实施例中，媒体指南应用在情节信息数据库中搜索与物体和位置中的至少一个，以及元数据相关联的情节信息。例如，媒体指南应用可以检索与场景相关联的隐藏字幕，并在情节信息数据库中搜索与隐藏字幕数据中识别出的术语相关联的情节信息关键词。媒体指南应用基于情节信息从数据库识别伴随媒体资产的补充内容。例如，媒体指南应用可以基于情节信息识别具有热带岛屿和海洋的补充内容。补充内容可以是要在电视机附近的房间的墙壁上显示的具体背景图像，或者基于被确定为可用的区域显示在区域周围的具有共同主题的图像的集合。补充内容可以包括视觉图像以及可以根据需要播放的替代形式的媒体(诸如声音的集合、视频剪辑或其组合)。媒体指南应用在呈现媒体资产期间向投影设备发送用于在用户设备附近显示的补充内容。例如，媒体指南应用可以经由投影仪发送显示热带岛屿和海洋的补充内容以显示在墙壁上。媒体指南显示器可以将补充内容发送到用户设备的区域中的任何显示设备，诸如另一个电视机屏幕、平板电脑或增强现实眼镜。在一些实施例中，媒体指南应用向扬声器发送包括在补充内本文档来自技高网...

【技术保护点】
1.一种用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的方法，该方法包括：在用户设备上呈现媒体资产期间监测一个或多个帧；在媒体资产的呈现期间选择指示媒体资产中的新场景的帧；识别在所选择的帧中表示的物体和位置中的至少一个；确定与物体和位置中的所述至少一个相关联的情节信息；基于情节信息从数据库中识别伴随媒体资产的补充内容；以及在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容。

【技术特征摘要】
【国外来华专利技术】2016.05.27 US 15/167,035;2016.05.27 US 15/167,1461.一种用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的方法，该方法包括：在用户设备上呈现媒体资产期间监测一个或多个帧；在媒体资产的呈现期间选择指示媒体资产中的新场景的帧；识别在所选择的帧中表示的物体和位置中的至少一个；确定与物体和位置中的所述至少一个相关联的情节信息；基于情节信息从数据库中识别伴随媒体资产的补充内容；以及在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容。2.如权利要求1所述的方法，其中识别在所选择的帧中表示的物体和位置中的所述至少一个包括：识别所选择的帧中的关键特征；将识别出的关键特征与物体数据库进行比较；基于比较识别所选择的帧中表示的物体；基于所选择的帧中的物体搜索动作数据库；识别在所选择的帧中发生的动作，其中该动作与所述物体相关联。3.如权利要求2所述的方法，其中确定与物体和位置中的所述至少一个相关联的情节信息还包括：搜索情节信息数据库，以识别与所选择的帧中出现的物体和位置中的所述至少一个以及动作相关联的情节信息，其中情节信息包括描述所选择的帧的情节的关键词；确定与物体和位置中的所述至少一个以及动作相关联的公共关键词；以及基于公共关键词确定识别出的情节信息。4.如权利要求1所述的方法，其中识别所选择的帧中表示的物体和位置中的所述至少一个包括：识别所选择的帧中的关键特征；将识别出的关键特征与物体数据库进行比较；基于比较识别所选择的帧中的物体；在位置数据库中搜索与该物体相关联的位置；以及基于与所述物体相关联的位置识别所选择的帧中的位置。5.如权利要求1所述的方法，其中识别所选择的帧中表示的物体和位置中的所述至少一个包括：识别所选择的帧中的关键特征；将所选择的帧的关键特征与位置数据库进行比较，其中位置数据库包括对位置的表示的分析；以及基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定所选择的帧中表示的位置。6.如权利要求1所述的方法，其中确定与物体和位置中的所述至少一个相关联的情节信息还包括：检索与所选择的帧相关联的元数据，其中元数据包括与所选择的帧相关联的隐藏字幕数据和标签之一；以及在情节信息数据库中搜索与物体和位置以及元数据相关联的情节信息，其中情节信息包括描述所选择的帧的情节的关键词。7.如权利要求1所述的方法，还包括：从所选择的帧的一部分创建新的补充内容；以及将新的补充内容连同与物体和位置中的所述至少一个相关联的公共关键词一起存储在数据库中。8.如权利要求1所述的方法，其中在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容还包括向扬声器发送声音的集合，其中补充内容包括用于在用户设备附近显示的图像和该声音的集合。9.如权利要求1所述的方法，还包括：在呈现指示下一场景的媒体资产期间选择下一帧；以及基于所选择的帧和所选择的下一帧确定新场景的持续时间。10.如权利要求9所述的方法，其中在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容还包括在新场景的持续时间内向投影设备发送补充内容。11.一种用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的系统，该系统包括控制电路系统，该控制电路系统被配置为：在用户设备上呈现媒体资产期间监测一个或多个帧；在媒体资产的呈现期间选择指示媒体资产中的新场景的帧；识别在所选择的帧中表示的物体和位置中的至少一个；确定与物体和位置中的所述至少一个相关联的情节信息；基于情节信息从数据库中识别伴随媒体资产的补充内容；以及在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容。12.如权利要求11所述的系统，其中被配置为识别在所选择的帧中表示的物体和位置中的所述至少一个的控制电路系统还被配置为：识别所选择的帧中的关键特征；将识别出的关键特征与物体数据库进行比较；基于比较识别所选择的帧中的物体；基于所选择的帧中的物体搜索动作数据库；识别在所选择的帧中发生的动作，其中该动作与所述物体相关联。13.如权利要求12所述的系统，其中被配置为确定与物体和位置中的所述至少一个相关联的情节信息的控制电路系统还被配置为：搜索情节信息数据库，以识别与所选择的帧中出现的物体和位置以及动作相关联的情节信息，其中情节信息包括描述所选择的帧的情节的关键词；确定与物体和位置以及动作相关联的公共关键词；以及基于公共关键词确定识别出的情节信息。14.如权利要求11所述的系统，其中被配置为识别所选择的帧中表示的物体和位置中的至少一个的控制电路系统还被配置为：识别所选择的帧中的关键特征；将识别出的关键特征与物体数据库进行比较；基于比较识别所选择的帧中的物体；在位置数据库中搜索与该物体相关联的位置；以及基于与所述物体相关联的位置识别所选择的帧中的位置。15.如权利要求11所述的系统，其中被配置为识别所选择的帧中表示的物体和位置中的所述至少一个的控制电路系统被配置为：识别所选择的帧中的关键特征；将所选择的帧的关键特征与位置数据库进行比较，其中位置数据库包括对位置的表示的分析；以及基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定所选择的帧中表示的位置。16.如权利要求11所述的系统，其中被配置为确定与物体和位置中的所述至少一个相关联的情节信息的控制电路系统还被配置为：检索与所选择的帧相关联的元数据，其中元数据包括与所选择的帧相关联的隐藏字幕数据和标签之一；以及在情节信息数据库中搜索与物体和位置中的所述至少一个以及元数据相关联的情节信息，其中情节信息包括描述所选择的帧的情节的关键词。17.如权利要求11所述的系统，还包括控制电路系统，该控制电路系统被配置为：从所选择的帧的一部分创建新的补充内容；以及将新的补充内容连同与物体和位置中的所述至少一个相关联的公共关键词一起存储在数据库中。18.如权利要求11所述的系统，其中被配置为在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的控制电路系统还被配置为向扬声器发送声音的集合，其中补充内容包括用于在用户设备附近显示的图像和该声音的集合。19.如权利要求11所述的系统，还包括控制电路系统，该控制电路系统被配置为：在呈现指示下一场景的媒体资产期间选择下一帧；以及基于所选择的帧和所选择的下一帧确定新场景的持续时间。20.如权利要求19所述的系统，其中被配置为在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的控制电路系统还被配置为在新场景的持续时间内向投影设备发送补充内容。21.一种用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的系统，该系统包括：用于在用户设备上呈现媒体资产期间监测一个或多个帧的装置；用于在媒体资产的呈现期间选择指示媒体资产中的新场景的帧的装置；用于识别在所选择的帧中表示的物体和位置中的至少一个的装置；用于确定与物体和位置中的所述至少一个相关联的情节信息的装置；用于基于情节信息从数据库中识别伴随媒体资产的补充内容的装置；以及用于在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的装置。22.如权利要求21所述的系统，其中用于识别在所选择的帧中表示的物体和位置中的所述至少一个的装置包括：用于识别所选择的帧中的关键特征的装置；用于将识别出的关键特征与物体数据库进行比较的装置；用于基于比较识别所选择的帧中的物体的装置；用于基于所选择的帧中的物体搜索动作数据库的装置；以及用于识别在所选择的帧中发生的动作的装置，其中该动作与所述物体相关联。23.如权利要求22所述的系统，其中用于确定与物体和位置中的所述至少一个相关联的情节信息的装置还包括：用于搜索情节信息数据库，以识别与所选择的帧中出现的物体和位置中的所述至少一个以及动作相关联的情节信息的装置，其中情节信息包括描述所选择的帧的情节的关键词；用于确定与物体和位置中的所述至少一个以及动作相关联的公共关键词的装置；以及用于基于公共关键词确定识别出的情节信息的装置。24.如权利要求21所述的系统，其中用于识别所选择的帧中表示的物体和位置中的所述至少一个的装置包括：用于识别所选择的帧中的关键特征的装置；用于将识别出的关键特征与物体数据库进行比较的装置；用于基于比较识别所选择的帧中的物体的装置；用于在位置数据库中搜索与该物体相关联的位置的装置；以及用于基于与所述物体相关联的位置识别所选择的帧中的位置的装置。25.如权利要求21所述的系统，其中用于识别所选择的帧中表示的物体和位置中的所述至少一个的装置包括：用于识别所选择的帧中的关键特征的装置；用于将所选择的帧的关键特征与位置数据库进行比较的装置，其中位置数据库包括对位置的表示的分析；以及用于基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定所选择的帧中表示的位置的装置。26.如权利要求21所述的系统，其中用于确定与物体和位置中的所述至少一个相关联的情节信息的装置还包括：用于检索与所选择的帧相关联的元数据的装置，其中元数据包括与所选择的帧相关联的隐藏字幕数据和标签之一；以及用于在情节信息数据库中搜索与物体和位置中的所述至少一个以及元数据相关联的情节信息的装置，其中情节信息包括描述所选择的帧的情节的关键词。27.如权利要求21所述的系统，还包括：用于从所选择的帧的一部分创建新的补充内容的装置；以及用于将新的补充内容连同与物体和位置中的所述至少一个相关联的公共关键词一起存储在数据库中的装置。28.如权利要求21所述的系统，其中用于在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的装置还包括用于向扬声器发送声音的集合的装置，其中补充内容包括用于在用户设备附近显示的图像和该声音的集合。29.如权利要求21所述的系统，还包括：用于在呈现指示下一场景的媒体资产期间选择下一帧的装置；以及用于基于所选择的帧和所选择的下一帧确定新场景的持续时间的装置。30.如权利要求29所述的系统，其中用于在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的装置还包括用于在新场景的持续时间内向投影设备发送补充内容的装置。31.一种非瞬态机器可读介质，包括在其上编码的用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的指令，所述指令包括：在用户设备上呈现媒体资产期间监测一个或多个帧的指令；在媒体资产的呈现期间选择指示媒体资产中的新场景的帧的指令；识别在所选择的帧中表示的物体和位置中的至少一个的指令；确定与物体和位置中的所述至少一个相关联的情节信息的指令；基于情节信息从数据库中识别伴随媒体资产的补充内容的指令；以及在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的指令。32.如权利要求31所述的非瞬态计算机可读介质，其中识别在所选择的帧中表示的物体和位置中的所述至少一个的指令还包括：识别所选择的帧中的关键特征的指令；将识别出的关键特征与物体数据库进行比较的指令；基于比较识别所选择的帧中的物体的指令；基于所选择的帧中的物体搜索动作数据库的指令；识别在所选择的帧中发生的动作的指令，其中该动作与所述物体相关联。33.如权利要求32所述的非瞬态计算机可读介质，其中确定与物体和位置中的所述至少一个相关联的情节信息的指令还包括：搜索情节信息数据库，以识别与所选择的帧中出现的物体和位置中的所述至少一个以及动作相关联的情节信息的指令，其中情节信息包括描述所选择的帧的情节的关键词；确定与物体和位置中的所述至少一个以及动作相关联的公共关键词的指令；以及基于公共关键词确定识别出的情节信息的指令。34.如权利要求31所述的非瞬态计算机可读介质，其中识别所选择的帧中表示的物体和位置中的所述至少一个的指令还包括：识别所选择的帧中的关键特征的指令；将识别出的关键特征与物体数据库进行比较的指令；基于比较识别所选择的帧中的物体的指令；在位置数据库中搜索与该物体相关联的位置的指令；以及基于与所述物体相关联的位置识别所选择的帧中的位置的指令。35.如权利要求31所述的非瞬态计算机可读介质，其中识别所选择的帧中表示的物体和位置中的所述至少一个的指令还包括：识别所选择的帧中的关键特征的指令；将所选择的帧的关键特征与位置数据库进行比较的指令，其中位置数据库包括对位置的表示的分析；以及基于将所选择的帧中的关键特征与对位置的表示的分析进行比较来确定所选择的帧中表示的位置的指令。36.如权利要求31所述的非瞬态计算机可读介质，其中确定与物体和位置中的所述至少一个相关联的情节信息的指令还包括：检索与所选择的帧相关联的元数据的指令，其中元数据包括与所选择的帧相关联的隐藏字幕数据和标签之一；以及在情节信息数据库中搜索与物体和位置中的所述至少一个以及元数据相关联的情节信息的指令，其中情节信息包括描述所选择的帧的情节的关键词。37.如权利要求31所述的非瞬态计算机可读介质，还包括：从所选择的帧的一部分创建新的补充内容的指令；以及将新的补充内容连同与物体和位置中的所述至少一个相关联的公共关键词一起存储在数据库中的指令。38.如权利要求31所述的非瞬态计算机可读介质，其中在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的指令还包括向扬声器发送声音的集合的指令，其中补充内容包括用于在用户设备附近显示的图像和该声音的集合。39.如权利要求31所述的非瞬态计算机可读介质，还包括：在呈现指示下一场景的媒体资产期间选择下一帧的指令；以及基于所选择的帧和所选择的下一帧确定新场景的持续时间的指令。40.如权利要求39所述的非瞬态计算机可读介质，其中在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容的指令还包括在新场景的持续时间内向投影设备发送补充内容的指令。41.一种用于在用户设备上呈现媒体资产期间选择用于在用户设备附近显示的补充内容的方法，该方法包括：在用户设备上呈现媒体资产期间监测一个或多个帧；在媒体资产的呈现期间选择指示媒体资产中的新场景的帧；识别在所选择的帧中表示的物体和位置中的至少一个；确定与物体和位置中的所述至少一个相关联的情节信息；基于情节信息从数据库中识别伴随媒体资产的补充内容；以及在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容。42.如权利要求41所述的方法，其中识别在所选择的帧中表示的物体和位置中的所述至少一个包括：识别所选择的帧中的关键特征；将识别出的关键特征与物体数据库进行比较；基于比较识别所选择的帧中的物体；基于所选择的帧中的物体搜索动作数据库；以及识别在所选择的帧中发生的动作，其中该动作与所述物体相关联。43.如权利要求42所述的方法，其中确定与物体和位置中的所述至少一个相关联的情节信息还包括：搜索情节信息数据库，以识别与所选择的帧中出现的物体和位置中的所述至少一个以及动作相关联的情节信息，其中情节信息包括描述所选择的帧的情节的关键词；确定与物体和位置中的所述至少一个以及动作相关联的公共关键词；以及基于公共关键词确定识别出的情节信息。44.如权利要求41-43所述的方法，其中识别所选择的帧中表示的物体和位置中的所述至少一个包括：识别所选择的帧中的关键特征；将识别出的关键特征与物体数据库进行比较；基于比较识别所选择的帧中的物体；在位置数据库中搜索与该物体相关联的位置；以及基于与所述物体相关联的位置识别所选择的帧中的位置。45.如权利要求41-44中任一项所述的方法，其中识别所选择的帧中表示的物体和位置中的所述至少一个包括：识别所选择的帧中的关键特征；将所选择的帧的关键特征与位置数据库进行比较，其中位置数据库包括对位置的表示的分析；以及基于将所选择的帧的关键特征与对位置的表示的分析进行比较来确定所选择的帧中表示的位置。46.如权利要求41-45中任一项所述的方法，其中确定与物体和位置中的所述至少一个相关联的情节信息还包括：检索与所选择的帧相关联的元数据，其中元数据包括与所选择的帧相关联的隐藏字幕数据和标签之一；以及在情节信息数据库中搜索与物体和位置中的所述至少一个以及元数据相关联的情节信息，其中情节信息包括描述所选择的帧的情节的关键词。47.如权利要求41-46中任一项所述的方法，还包括：从所选择的帧的一部分创建新的补充内容；以及将新的补充内容连同与物体和位置中的所述至少一个相关联的公共关键词一起存储在数据库中。48.如权利要求41-47中任一项所述的方法，其中在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容还包括向扬声器发送声音的集合，其中补充内容包括用于在用户设备附近显示的图像和该声音的集合。49.如权利要求41-48中任一项所述的方法，还包括：在呈现指示下一场景的媒体资产期间选择下一帧；以及基于所选择的帧和所选择的下一帧确定新场景的持续时间。50.如权利要求49所述的方法，其中在媒体资产的呈现期间向投影设备发送用于在用户设备附近显示的补充内容还包括在新场景的持续时间内向投影设备发送补充内容。51.一种用于确定用户设备附近用于在用户设备上呈现媒体资产期间显示补充内容的区域的方法，该方法包括：使用相机设备监测用户设备附近的一个或多个区域；基于监测确定用户设备附近的所述一个或多个区域中的每个区域的维度；接收与在用户设备上呈现的媒体资产的场景相关联的补充内容；识别补充内容的维度；将补充内容的维度与用于所述一个或多个区域中的每个区域的维度进行比较；基于比较过滤所述一个或多个区域的子集；以及向投影设备发送用于在用户设备附近的所述一个或多个区域的该子集中显示的补充内容。52.如权利要求51所述的方法，其中确定用户设备附近的...

【专利技术属性】
技术研发人员：E·林，
申请(专利权)人：乐威指南公司，
类型：发明
国别省市：美国,US