用于加强型增强现实多媒体的电子装置制造方法及图纸

一种用于加强型增强现实多媒体的电子装置，该电子装置包括照相机传感器、显示器、非易失性存储单元和处理器。该处理器被配置成用于从该照相机传感器或视频文件采集视频数据、标识在该视频数据中的至少一个兴趣区以及在没有接收到用户输入的情况下针对该至少一个兴趣区生成增强现实数据，其中，该增强现实数据根据上下文与该至少一个兴趣区相关。该处理器被进一步配置成用于：在该显示器上显示该视频数据，其中，在从该照相机传感器或该视频文件采集该视频数据时，该增强现实数据实时地叠加于其上；并且将该视频数据和该增强现实数据存储在该非易失性存储单元中。

【技术实现步骤摘要】

本披露涉及增强现实系统领域。
技术介绍
增强现实是物理现实世界环境的生动直接观看或间接观看，其元素由计算机生成的感觉输入(如声音、视频、图形或GPS数据)增强。常规地，实时地并且在具有多个环境元素的语义上下文中使用增强。增强现实的示例是当在取景器中实时地观看对象时使用装置如智能电话或平板计算机显示对象的信息。如果为了稍后播放而记录增强现实，其中，增强现实附加与取景器中的原始图像合并，结果无非是经编辑的视频流。当这确实将信息而不是原始取景器内容自身存在给取景器时，在播放过程中几乎不存在选项，使得增强现实附加比其可能在其他情况下更加无用。因此，期望在增强现实领域中的进一步发展。
技术实现思路
提供本概述以便引入以下在详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征也不旨在用作限定所要求保护的主题的范围的辅助内容。为解决上述问题，本公开的各种实施例涉及一种用于加强型增强现实多媒体的电子装置，包括：照相机传感器；显示器；非易失性存储单元；处理器，所述处理器被配置成用于：从所述照相机传感器采集视频数据；标识在所述视频数据中的至少一个兴趣区；在没有接收到用户输入的情况下针对所述至少一个兴趣区生成增强现实数据，所述增强现实数据根据上下文与所述至少一个兴趣区相关；在所述显示器上显示所述视频数据，其中，在从所述照相机传感器采集所述视频数据时，所述增强现实数据实时地叠加于其上；并且将所述视频数据和所述增强现实数据存储在所述非易失性存储单元中。根据本公开的实施例，所述处理器将所述视频数据存储在所述非易失性存储单元中的视频文件中，并且其中，所述处理器将所述增强现实数据存储在所述视频文件的元数据部分中。将元数据存储在单独的增强现实数据文本文件中的优点是通过或者更改或者替换数据以及增添新数据字段在稍后的时间点处对其更新容易。根据本公开的实施例，所述至少一个兴趣区包括多个兴趣区；并且其中，所述处理器进一步被配置成用于：确定与同一对象相关的多个兴趣区；确定至少一个起止时间戳，所述至少一个起止时间戳包含所述视频文件中的所述多个兴趣区的连续存在；针对与不同对象相关的多个兴趣区确定至少一个起止时间戳；并且将包含所述视频文件中的所述多个兴趣区的所述连续存在的所述至少一个起止时间戳和针对与不同对象相关的多个兴趣区的所述至少一个起止时间戳存储在所述非易失性存储单元中的所述视频文件的所述元数据部分中。根据本公开的实施例，所述视频数据存储在视频文件中；并且其中，所述增强现实数据存储在与所述视频文件分离但是相关联的元数据文件中。根据本公开的实施例，所述至少一个兴趣区包括多个兴趣区；并且其中，所述处理器进一步被配置成用于：确定与同一对象相关的多个兴趣区；确定至少一个起止时间戳，所述至少一个起止时间戳包含所述视频文件中的所述多个兴趣区的连续存在；针对与不同对象相关的多个兴趣区确定至少一个起止时间戳；并且将包含所述视频文件中的所述多个兴趣区的所述连续存在的所述至少一个起止时间戳和针对与不同对象相关的多个兴趣区的所述至少一个起止时间戳存储在所述非易失性存储单元中的与所述视频文件分离但是相关联的所述元数据文件中。通过本公开的各种实施例所述的电子装置，使得增强现实在视频播放方面得以加强。附图说明图1是可以在其上执行本披露的增强现实处理技术的电子装置的示意框图。图2是根据本披露的增强现实处理技术的流程图。图3是根据本披露的增强现实生成和显示技术的流程图。图4是根据本披露展示了播放视频数据和可选地增强现实数据的流程图。具体实施方式将在下文描述一个或多个实施例。这些所描述的实施例仅是如由所附权利要求来单独限定的实现技术的示例。此外，为了提供集中的描述，可能不会在说明书中描述实际实现的不相关特征。初始参照图1，现在描述可以用于执行增强现实技术的电子装置100。电子装置100可以是智能电话、平板计算机、增强现实头戴式耳机或者其他合适的电子装置。电子装置100包括处理器112，具有可选显示器114、可选非易失性存储单元116、可选照相机传感器118、可选收发器120、可选GPS收发器122、可选加速计124、可选罗盘126、可选气压计128、可选蓝牙收发器133以及耦接于其上的可选音频转换器135。显示器114在一些情况下可以是触敏的，并且非易失性存储单元116可以是磁或固态存储单元，如硬盘驱动器、固态驱动器或者闪存RAM。照相机传感器118可以是CMOS照相机传感器，并且收发器120可以是蜂窝收发器、WiFi收发器或蓝牙收发器。此外参照图2，现在描述增强现实处理技术。处理器112可选地从照相机传感器118可选地实时地收集视频数据帧(框202)，并且可以可选地操作音频转换器135以获得与视频数据帧同时发生的音频记录。处理器112也可以从所记录的内容收集视频数据。当收集每个视频数据帧时，处理器112操作以便标识那个帧中的兴趣区(ROI)(框204)。示例ROI包括人脸、对象、地形部分、天空部分等。处理器112然后在没有接收到用户输入的情况下或者在一些实例中在接收到用户输入的情况下针对ROI生成增强现实数据(框206)。通过在没有接收到用户输入的情况下针对ROI生成增强现实数据，意味着数据或者来自传感器或者来自数据库，而不是手动输入的(如由人听语音并经由键盘手动地输入适当的字幕)。尽管可以以此方式输入针对ROI的一些增强现实数据，一些增强现实数据将不会被输入。例如，处理器112可以通过从内部传感器读取或采集数据来生成增强现实数据。因此，处理器112可以通过以下方式来生成增强现实数据：读取照相机传感器118的定向、在从GPS接收机122采集视频数据时读取电子装置100的位置的GPS坐标、在从气压计128捕获图像时读取与ROI或者电子装置100的位置相关联的天气状况、读取来自加速计124的数据或者读取来自罗盘126的数据。处理器112还可以通过经由收发器120如从提供了针对给定的GPS坐标位置的实时天气数据的源通过互联网接收以上数据来生成增强现实数据。此外，处理器122可以通过分析视频数据自身或者通过分析与视频数据同时捕获的音频数据来生成增强现实数据。例如，处理器112可以通过对源自视频数据的声音执行音频分析来生成增强现实数据，或者可以通过对ROI执行图像分析、对ROI执行字符识别、对ROI执行对象识别以及对ROI的图像数据执行图像搜索来生成增强现实数据。这可以通过处理器112在本地完成，或者处理器112可以为了这些目的通过互联网采用远端源。此外，为了这个分析，处理器112可以组合本地源和远端源(非易失性存储器116和远端数据源130)。每一项增强现实数据根据上下文与其对应的ROI相关。上下文关系意味着在ROI自身中示出的图像的信息，或者与在ROI自身中示出的图像的捕获相关的信息。上下文关系不意味着如时间戳/日期戳或者针对语音或者声音的字幕的信息。处理器112可选地实时地在显示器114上显示视频数据和增强现实数据(框208)。增强现实数据覆盖在视频数据的顶部上。例如，视频数据中的个体的名字可以漂浮于其对应的头部之上或者与其相邻地以文本显示，或者对象的信息可以漂浮于对象之上或者与其相邻地以文本显示。当视频数据和增强现实数据被处理器本文档来自技高网...

【技术保护点】
一种用于加强型增强现实多媒体的电子装置，其特征在于，包括：照相机传感器；显示器；非易失性存储单元；处理器，所述处理器被配置成用于：从所述照相机传感器采集视频数据；标识在所述视频数据中的至少一个兴趣区；在没有接收到用户输入的情况下针对所述至少一个兴趣区生成增强现实数据，所述增强现实数据根据上下文与所述至少一个兴趣区相关；在所述显示器上显示所述视频数据，其中，在从所述照相机传感器采集所述视频数据时，所述增强现实数据实时地叠加于其上；并且将所述视频数据和所述增强现实数据存储在所述非易失性存储单元中。

【技术特征摘要】
2015.06.25 US 14/750,6991.一种用于加强型增强现实多媒体的电子装置，其特征在于，包括：照相机传感器；显示器；非易失性存储单元；处理器，所述处理器被配置成用于：从所述照相机传感器采集视频数据；标识在所述视频数据中的至少一个兴趣区；在没有接收到用户输入的情况下针对所述至少一个兴趣区生成增强现实数据，所述增强现实数据根据上下文与所述至少一个兴趣区相关；在所述显示器上显示所述视频数据，其中，在从所述照相机传感器采集所述视频数据时，所述增强现实数据实时地叠加于其上；并且将所述视频数据和所述增强现实数据存储在所述非易失性存储单元中。2.如权利要求1所述的电子装置，其特征在于，所述处理器被配置为将所述视频数据存储在所述非易失性存储单元中的视频文件中，并且其中，所述处理器被配置为将所述增强现实数据存储在所述视频文件的元数据部分中。3.如权利要求2所述的电子装置，其特征在于，所述至少一个兴趣区包括多个兴趣区；并且其中，所述处理器进一步被配置成用于：确定与同一对象相关的多个兴趣区；确定至少一个起止时间戳，所述至少一个起止时间戳包...

【专利技术属性】
技术研发人员：A·沙玛，G·杰拉斯，P·辛格，A·K·斯利瓦斯塔瓦，
申请(专利权)人：意法半导体国际有限公司，
类型：新型
国别省市：荷兰;NL