基于手持式装置中的眼睛俘获的增强现实处理制造方法及图纸

本发明专利技术描述可改进且可能加速相对于视频序列图像中出现的对象产生增强现实AR信息的技术。为此，本发明专利技术的技术俘获并使用关于视频装置的用户的眼睛的信息。所述视频装置可包含两个不同相机。第一相机经定向以俘获从用户向外的图像序列(例如，视频)。第二相机经定向以在所述第一相机俘获从所述用户向外的图像时俘获所述用户的所述眼睛的图像。如由所述第二相机的一个或一个以上图像俘获的所述用户的所述眼睛可用于产生概率图，且所述概率图可用于区分所述第一图像中的对象的优先级以用于AR处理。

【技术实现步骤摘要】
【国外来华专利技术】基于手持式装置中的眼睛俘获的增强现实处理
本专利技术涉及增强现实(AR)处理，其中俘获视频信息的装置可提供关于所述视频信息中的一个或一个以上对象的实时信息，且更特定来说，本专利技术涉及可改进且可能加速AR处理的技术。
技术介绍
可执行对视频序列的增强现实(AR)处理以便提供关于视频序列中出现的一个或一个以上对象的实时信息。通过AR处理，视频序列中出现的对象可被识别，使得可向用户显示关于视频序列中的对象的补充信息(即，增强信息)。所述补充信息可包括覆盖在视频序列的帧上的图形或文本信息，使得可向用户识别、界定或以其它方式描述对象。以此方式，AR可向用户提供相对于被实时俘获和显示的视频序列的增强实时体验。遗憾的是，AR处理可能非常复杂，且可能需要密集型处理能力。此外，在AR处理中，可能难以区分视频序列内的用户感兴趣的对象以及与用户无关的对象。补充性AR信息对于感兴趣的对象可为合意的，但对于无关对象可为较不合意的，或甚至不合意的。AR处理在手持式装置中可能特别有挑战性，所述手持式装置例如为蜂窝式电话、智能电话、数码相机或支持视频俘获的其它手持式装置，其中处理能力和电池电力是有限的。
技术实现思路
本专利技术描述可改进且可能加速相对于视频序列图像中出现的对象产生增强现实(AR)信息的技术。为此，本专利技术的技术可俘获并使用关于视频装置的用户的眼睛的信息。所述视频装置可包含两个不同相机。第一相机经定向以俘获从用户向外的图像序列(例如，视频序列)，使得所述第一相机俘获所述用户正观看的场景。第二相机经定向以在所述第一相机俘获从所述用户向外的图像时俘获所述用户的所述眼睛的图像。如由所述第二相机的一个或一个以上图像俘获的所述用户的所述眼睛可用于产生概率图，且所述概率图可用于区分所述第一图像中的对象的优先级以用于AR处理。在一个实例中，本专利技术描述一种方法，所述方法包括使用手持式装置的第一相机俘获第一图像，所述第一相机相对于所述手持式装置的用户指向外；使用所述手持式装置的第二相机俘获第二图像，其中所述第二图像包含所述用户的眼睛；基于所述第二图像中的所述用户的所述眼睛而产生概率图；至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的增强现实(AR)信息；以及与所述第一图像一起显示所述AR信息。在另一实例中，本专利技术描述一种手持式装置，所述手持式装置包括：第一相机，其经定向以在所述第一相机相对于所述手持式装置的用户指向外时俘获第一图像；第二相机，其经定向以在所述第一相机相对于所述用户指向外时俘获包含所述用户的眼睛的第二图像；AR单元，其基于所述第二图像中的所述用户的所述眼睛而产生概率图，且至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息；以及显示器，其与所述第一图像一起显示所述AR信息。在另一实例中，本专利技术描述一种装置，所述装置包括：用于用手持式装置俘获第一图像的装置；用于用所述手持式装置俘获第二图像的装置，其中所述第二图像包含所述用户的眼睛且其中所述第一和第二图像被大体上同时俘获；用于基于所述第二图像中的所述用户的所述眼睛而产生概率图的装置；用于至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息的装置；以及用于与所述第一图像一起显示所述AR信息的装置。本专利技术中所描述的技术可至少部分实施于硬件中，可能与硬件组合地使用软件或固件的若干方面。如果部分实施于软件或固件中，则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上硬件处理器中执行软件或固件。可最初将执行所述技术的软件存储于计算机可读媒体中且在处理器中加载并执行。因此，本专利技术还预期一种包括指令的计算机可读存储媒体，所述指令在由处理器执行后即刻致使所述处理器：在从手持式装置的第一相机接收第一图像后，所述第一相机即刻相对于所述手持式装置的用户指向外，且在使用所述手持式装置的第二相机接收第二图像后，其中所述第二图像包含所述用户的眼睛，即刻基于所述第二图像中的所述用户的所述眼睛而产生概率图；至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息；以及将所述AR信息输出到显示器。在另一实例中，本专利技术描述一种设备，所述设备可为用于实施本文中所描述的AR单元的处理器。在从手持式装置的第一相机接收第一图像后，所述第一相机即刻相对于所述手持式装置的用户指向外，且在使用所述手持式装置的第二相机接收第二图像后，其中所述第二图像包含所述用户的眼睛，所述设备可经配置以即刻基于所述第二图像中的所述用户的所述眼睛而产生概率图；至少部分基于所述概率图而产生与所述第一图像中的一个或一个以上对象相关联的AR信息；以及将所述AR信息输出到显示器。本专利技术的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本专利技术中所描述的技术的其它特征、目的和优点。附图说明图1为说明与本专利技术一致的示范性视频装置的框图。图2为说明与本专利技术一致的示范性视频装置的框图。图3A是说明由经定向以俘获从用户向外的场景的图像的第一相机俘获的帧的概念图。图3B是说明由经定向以俘获用户的眼睛的图像的第二相机俘获的帧的镜像版本的概念图。图3C是说明来自第一相机的图像的平铺版本的概念图。图3D是说明基于图3B中的用户的一只或多只眼睛的来自第二相机的图像的镜像版本的平铺近似的概念图，其中用阴影展示可能的感兴趣的区域。图4A是说明基于来自第一相机的图3C的平铺图像的示范性第一概率图的图。图4B是说明基于来自第二相机的图像的镜像版本的平铺近似的示范性第二概率图的图。图5是说明基于图4A和4B的第一和第二概率图的组合概率图的图。图6是说明具有在每一对象下方添加的AR信息的图像的概念图。图7和8是说明与本专利技术一致的用于产生和显示AR信息的示范性技术的流程图。具体实施方式本专利技术描述可改进且可能加速相对于视频序列图像中出现的对象产生增强现实(AR)信息的技术。本专利技术的技术可涉及俘获并使用视频装置的用户的一只或多只眼睛的图像。所述视频装置可包含两个不同相机，使得场景的视频序列可与正观看同一场景的装置的用户的眼睛的视频序列被同时俘获。第一相机可经定向以俘获从用户向外的图像序列(例如，视频序列)。第二相机可经定向以在所述第一相机俘获从所述用户向外的图像时俘获所述用户的所述眼睛的图像。如由所述第二相机的一个或一个以上图像俘获的所述用户的所述眼睛可用于产生概率图，且所述概率图可用于区分所述第一图像中的特定对象或所述第一图像内的特定区域或瓦片的优先级以用于AR处理。以此方式，用户的注意力(例如，如由用户的眼睛的位置或方向来界定)可提供可改进AR处理的信息，例如基于用户的眼睛将AR处理集中在感兴趣的对象上。根据本专利技术的技术，可界定对象识别算法以便基于由第二相机俘获的用户眼睛来区分第一相机的所俘获视频序列的区域的优先级。以此方式，用户眼睛的方向可提供反馈，所述反馈可改进快速识别所俘获视频序列内的感兴趣的对象的能力。可基于第二相机所俘获的图像中的用户眼睛而产生优先级图。在一些情况下，可基于由第一相机俘获的图像以及由第二相机俘获的图像(其包含用户眼睛)而产生两个优先级图。在此情况下，可将所述两个优先本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.12.17 US 12/971,1211.一种用于区分对图像中的对象的处理的优先级的方法，其包含：使用装置的第一相机俘获第一图像，所述第一相机相对于所述装置的用户指向外；使用所述装置的第二相机俘获第二图像，其中所述第二图像包含所述用户的眼睛；基于所述第一图像中的一个或一个以上对象而产生第一概率图；基于所述第二图像中的所述用户的所述眼睛而产生第二概率图；基于所述第一和第二概率图而产生组合概率图；至少部分基于所述组合概率图而产生与所述第一图像中的所述一个或一个以上对象相关联的增强现实AR信息；其中基于所述组合概率图而产生所述AR信息包含基于所述组合优先级图而区分所述第一图像中的不同对象的优先级。2.根据权利要求1所述的方法，其中所述概率图包含多个瓦片，且至少部分基于所述第二图像中的所述用户的所述眼睛而给予所述概率图的一个或一个以上瓦片比其它瓦片高的优先级。3.根据权利要求1所述的方法，其中所述第一概率图界定所述第一图像中的具有比所述第一图像中的其它区域高的包含感兴趣的对象的概率的一个或一个以上区域；且其中所述第二概率图界定基于所述用户眼睛相对于所述第一图像中的其它区域具有更高的用户兴趣的概率的一个或一个以上区域。4.根据权利要求3所述的方法，其进一步包括产生所述第一或第二图像中的至少一者的镜像版本，使得所述第一和第二图像从共同角度对准，其中所述第一和第二概率图中的至少一者是基于所述镜像版本而产生。5.根据权利要求1所述的方法，其中使所述第一和第二图像时间同步。6.根据权利要求1所述的方法，其进一步包括针对第一图像序列和第二图像序列的每个图像来重复所述方法，其中所述第一图像序列与所述第二图像序列时间同步。7.根据权利要求1所述的方法，其进一步包括针对第一图像序列中的每第N图像以及第二图像序列中的每第N图像来重复所述方法，其中所述第一图像序列与所述第二图像序列时间同步，且其中N表示大于或等于2的整数。8.根据权利要求1所述的方法，其中通过包含所述第一相机、所述第二相机和显示器的手持式装置来执行所述方法。9.根据权利要求1所述的方法，其中实时地执行所述方法。10.根据权利要求1所述的方法，其进一步包括：使用所述第一相机俘获第一图像序列，使用所述第二相机俘获第二图像序列，其中所述第二图像序列包含所述用户的所述眼睛；基于所述第二图像序列中的所述用户的所述眼睛而产生多个概率图；至少部分基于所述多个概率图而产生所述AR信息；以及显示所述AR信息与所述第一图像序列。11.根据权利要求1所述的方法，其进一步包括通过以优先级区分的次序处理AR信息而基于所述不同对象的优先级区分来执行对所述不同对象的对象识别。12.根据权利要求1所述的方法，其进一步包括显示所述增强现实AR信息与所述第一图像。13.一种用于区分对图像中的对象的处理的优先级的装置，所述装置包括：第一相机，其经定向以在所述第一相机相对于所述装置的用户指向外时俘获第一图像；第二相机，其经定向以在所述第一相机相对于所述用户指向外时俘获包含所述用户的眼睛的第二图像；增强现实AR单元，其：基于所述第一图像中的一个或一个以上对象而产生第一概率图；基于所述第二图像中的所述用户的所述眼睛而产生第二概率图；基于所述第一和第二概率图而产生组合概率图；以及至少部分基于所述组合概率图而产生与所述第一图像中的所述一个或一个以上对象相关联的增强现实AR信息，其中在基于所述组合概率图而产生所述AR信息时，增强现实AR单元基于所述组合概率图而区分所述第一图像中的不同对象的优先级。14.根据权利要求13所述的装置，其中所述概率图包含多个瓦片，且至少部分基于所述第二图像中的所述用户的所述眼睛而给予所述概率图的一个或一个以上瓦片比其它瓦片高的优先级。15.根据权利要求13所述的装置，其中所述第一概率图界定所述第一图像中的具有比所述第一图像中的其它区域高的包含感兴趣的对象的概率的一个或一个以上区域；且其中所述第二概率图界定基于所述用户眼睛相对于所述第一图像中的其它区域具有更高的用户兴趣的概率的一个或一个以上区域。16.根据权利要求15所述的装置，其中所述AR单元产生所述第一或第二图像中的至少一者的镜像版本，使得所述第一和第二图像从共同角度对准，其中所述第一和第二概率图中的至少一者是基于所述镜像版本而产生。17.根据权利要求13所述的装置，其中所述第一和第二图像被时间同步。18.根据权利要求13所述的装置，其中所述AR单元针对第一图像序列的每个图像来重复所述AR信息的产生，其中所述第一图像序列与第二图像序列时间同步。19.根据权利要求13所述的装置，其中所述AR单元针对第一图像序列的每第N图像来重复所述AR信息的产生，其中所述第一图像序列与第二图像序列时间同步，且其中N表示大于或等于2的整数。20.根据权利要求...

【专利技术属性】
技术研发人员：太元·李，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：