增强现实系统中的基于图像的跟踪技术方案

描述了基于图像的位置估计的系统和方法。在一个示例实施例中，第一定位系统用于生成第一位置估计。描述与第一位置估计相关联的一个或多个结构立面的一组结构立面数据然后被访问。采集环境的第一图像，并且图像的一部分与结构立面数据的一部分相匹配。第二位置然后基于结构立面数据与匹配到该结构立面数据的图像的一部分的比较来估计。

【技术实现步骤摘要】
【国外来华专利技术】增强现实系统中的基于图像的跟踪优先权要求本申请要求于2015年11月30日提交的序列号为No.14/954,090的美国专利申请的优先权的权益，本申请同样要求于2015年10月30日提交的序列号为No.62/248,706的美国临时专利申请的优先权的权益，其中每一个的优先权的权益在此被要求，并且其中的每一个通过引用整体并入本文。
技术介绍
增强现实指示使用计算机生成的增强来以实时或接近实时的方式将新的信息添加到图像中。例如，在装置的显示器上输出的墙壁的视频图像可以采用在墙壁上不存在的显示细节来增强，但是通过增强现实系统生成为显示为如它们在墙壁上一样。这种系统需要图像采集信息的复杂混合，以试图从由图像采集装置确定的视角无缝地呈现最终图像的方式，该图像采集信息被集成并与要被添加到采集的场景的增强现实信息匹配。附图说明附图中的各种附图仅示出了本公开的示例实施例，而不应被认为是限制其范围。图1A是示出根据一些示例实施例的网络系统的框图。图1B是示出根据一些示例实施例的包括客户端和客户端伴随(companion)(例如，可穿戴)装置的网络系统的框图。图2是示出根据一些示例实施例的增强现实系统的示例实施例的框图。图3示出根据一些实施例的增强现实系统的方面。图4A、4B和4C示出根据一些实施例的增强现实系统的方面。图5A-F示出根据一些示例实施例的增强现实系统中的基于图像的跟踪的方面。图6示出根据一些示例实施例的用于增强现实系统的跟踪系统的方面。图7示出根据一些实施例的增强现实系统的方面。图8示出根据一些实施例的增强现实系统的方面。图9是根据一些示例实施例的用于基于图像的跟踪的方法。图10A示出根据一些示例实施例的可用于增强现实系统的装置的方面。图10B示出根据一些示例实施例的描绘示例移动装置和移动操作系统界面的用户界面图。图11是可以与一些示例实施例联合使用的示例可穿戴装置。图12是示出根据一些示例实施例的可被安装在机器上的软件架构的示例的框图。图13是表现根据示例实施例的以计算机系统的形式的机器的图形表示的框图，在该计算机系统内可执行一组指令以使机器执行本文讨论的任何方法。具体实施方式下面涉及增强现实图像处理和基于图像的跟踪。一些特定实施例描述使用初始粗略位置估计来识别关于本地建筑物的立面(facade)数据。为增强现实系统采集的图像然后可以与立面数据进行比较。该比较尝试将一些或全部的建筑立面与所采集的图像的一部分进行匹配。来自立面数据的位置和视角信息可以与所采集的图像的被识别的匹配部分一起使用，以生成与采集的图像的视角相关联的位置的第二估计。该第二更精确的位置然后可用于将虚拟项目放置在所采集的图像内或者随后相关的所采集的图像内作为增强现实显示的一部分。以下描述包括示出本公开的实施例的系统、装置和方法。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术主题的各种实施例的理解。然而，对于本领域技术人员显而易见的是，本专利技术主题的实施例可以在没有这些具体细节的情况下实施。如在此所述，增强现实指示采集图像、采用附加信息增强这些图像、并且然后在显示器上呈现增强的信息的系统和装置。这使得例如用户能够拿起电话来采集场景的视频流，并且使得电话的输出显示器能够呈现与附加信息一起的对用户可见的场景。该信息可以包括将虚拟对象放置在场景中，以便虚拟对象被呈现为如同在场景中存在该虚拟对象。如果从采集环境的图像传感器的视角显示另一真实或虚拟对象在该虚拟对象的前面通过，则处理该虚拟对象的方面以遮挡该虚拟对象。随着真实对象和虚拟对象两者随时间推移移动并且随着采集环境的图像传感器的视角改变，该虚拟对象同样被处理为来保持其与真实对象的关系。包括真实对象和虚拟对象二者的此类增强现实场景出现的一个问题是设定和保持真实对象和虚拟对象之间的跟踪。对于保持虚拟对象在环境中的沉浸式呈现以及将虚拟对象视为在环境中是真实的，该跟踪是重要的。失败的跟踪会在场景内产生虚拟项目的抖动或非期望的移动，或者可能会以非自然的方式设定与真实对象重叠或不同步的初始虚拟对象布置。同布定位和映射(SLAM)系统是用于跟踪视频的二维图像帧中的关键点并且识别来自图像帧中的三维对象以及相机与这些对象的相对位置的系统。然而，识别三维对象的这种处理是处理器和存储器密集型的。如在此所使用的“立面”是指建筑物或物理结构的细节，包括建筑物墙壁的细节。建筑物的真实世界环境可以包括显著的三维质地，但是如在此所使用的，立面包括可以被建模为二维的墙壁或建筑物的部分。这特别包括可能是建筑物墙面一部分的模式，诸如壁画或其它图像。建筑物的立面数据可以包括建筑物的一个或多个外墙的简化的二维模型。这种模型可以包括此类墙壁的位置点以及来自此类墙壁的二维图像数据。当与复杂的三维对象点云模型相比时，二维立面模型要简单得多。处理图像以识别与墙壁的二维模型的匹配通常还将消耗比针对对象的三维模型处理一个或多个视频图像更少的处理资源。在采用移动装置或可穿戴装置工作而资源可用性方面存在显著限制时，处理器和存储器系统的效率特别重要。此外，通过使用全球定位系统或其它基于位置的系统来识别初始粗略位置估计，二维立面数据与采集的图像进行匹配所需的处理资源可进一步受限。地图数据库可以包括特定位置的建筑物的图像信息和/或立面模型。使用这种数据库以及初始粗略位置估计可被用于将采集的图像中的期望建筑物限制到非常小的数量，或者可以自动地用于识别单个建筑物。从该信息开始，一些具有有限处理资源的装置可以接近实时地将二维立面数据与采集的图像进行匹配。一些此类装置可能不能够执行用于三维匹配的这种接近实时的计算。然后，在采集的图像中表示的建筑物的视角可用于创建图像传感器的位置的精确估计，图像传感器用于生成采集的图像。这种精确的位置估计可以以各种方式使用，包括用于在环境内适当放置并跟踪虚拟对象作为增强现实系统的一部分。图1A是描绘根据一个实施例的具有被配置为通过网络交换数据的客户端-服务器架构的网络系统100的网络图。这种网络系统可用于针对在客户端装置110上显示的虚拟对象、用于创建立面模型的街景数据、以及由增强现实系统160使用的所得到的立面模型来传送信息。在一些实施例中，网络系统100可以是其中客户端在网络系统100内通信和交换数据的消息系统。该数据可以涉及与网络系统100及其用户相关联的各种功能(例如，发送和接收文本和媒体通信，确定地理位置等)和方面。虽然在此被示为客户端-服务器架构，但是其它实施例可以包括其它网络架构，诸如对等或分布式网络环境。如图1A所示，网络系统100包括社交消息收发系统130。社交消息收发系统130通常基于三层架构，其由接口层124、应用逻辑层126和数据层128组成。如相关的计算机和互联网相关领域中的本领域技术人员理解的，在图1A中所示的每个模块或引擎表示一组可执行软件指令和用于执行指令的对应硬件(例如，存储器和处理器)。为了避免不必要的细节模糊本专利技术的主题，与本专利技术主题的理解无关的各种功能模块和引擎在图1A中省略。附加的功能模块和引擎可以与社交消息收发系统一起使用，诸如图1A所示，以便于实现本文未具体描述的附加功能。此外，图1A中所描绘的各种功能模块和引擎可以驻留在单个服务器计算机上，或者可以以各种布置本文档来自技高网...

【技术保护点】
一种方法，用于确定装置的位置，包括：使用第一定位系统确定所述装置的第一位置估计；基于所述第一位置估计来访问描述与所述第一位置估计相关联的一个或多个结构立面的一组结构立面数据；由所述装置的图像传感器采集环境的第一图像；使用所述一组结构立面数据来识别所述环境的所述第一图像的第一结构立面部分，其中所述第一结构立面部分与所述一组结构立面数据中的第一结构立面数据相匹配；以及至少部分地基于所述环境的所述第一图像的所述第一结构立面部分来计算所述装置的第二位置估计；使用所述装置的所述第二位置估计，在所述环境的第二图像内对准第一虚拟对象。

【技术特征摘要】
【国外来华专利技术】2015.10.30 US 62/248,706;2015.11.30 US 14/954,0901.一种方法，用于确定装置的位置，包括：使用第一定位系统确定所述装置的第一位置估计；基于所述第一位置估计来访问描述与所述第一位置估计相关联的一个或多个结构立面的一组结构立面数据；由所述装置的图像传感器采集环境的第一图像；使用所述一组结构立面数据来识别所述环境的所述第一图像的第一结构立面部分，其中所述第一结构立面部分与所述一组结构立面数据中的第一结构立面数据相匹配；以及至少部分地基于所述环境的所述第一图像的所述第一结构立面部分来计算所述装置的第二位置估计；使用所述装置的所述第二位置估计，在所述环境的第二图像内对准第一虚拟对象。2.根据权利要求1所述的方法，进一步包括在所述结构立面数据的访问之前：采集所述环境的多个模型图像；采集所述环境的所述多个模型图像中的每一个模型图像的模型位置；以及处理所述多个模型图像和所述多个模型图像中的每一个模型图像的所述模型位置，以生成包括所述第一结构立面数据的立面数据的数据库；其中所处理的所述第一结构立面数据包括一个或多个立面表面位置和二维立面模式。3.根据权利要求1所述的方法，进一步包括：在所述装置处，响应于所述第一位置估计，接收所述一组结构立面数据，其中所述一组结构立面数据中的所述第一结构立面数据包括一个或多个立面表面位置和二维立面模式。4.根据权利要求3所述的方法，其中识别所述第一图像的所述第一结构立面部分包括：从所述第一位置估计和所述一个或多个立面表面位置，计算所述二维立面模式的期望视角；处理所述二维立面模式以生成第一视角模式；使用所述第一视角模式处理所述环境的所述第一图像，以识别所述第一结构立面部分。5.根据权利要求4所述的方法，其中至少部分地基于所述环境的所述第一图像的所述第一结构立面部分的视角来计算所述装置的所述第二位置估计，包括：计算所述第一视角模式和所述第一结构立面部分之间的误差值；确定与所述误差值相关联的相对位置值；以及使用所述相对位置值从所述第一位置估计确定所述第二位置估计。6.根据权利要求5所述的方法，进一步包括：访问与增强现实图像项目相关联的一组增强现实图像数据；由所述图像传感器采集所述环境的第二图像；使用所述第二位置估计来计算所述增强现实图像项目的位置；使用所述第二图像、所述一组增强现实图像数据和所述第二位置估计生成增强现实图像；以及在所述装置的显示器上输出所述增强现实图像。7.根据权利要求3所述的方法，其中识别所述第一图像的所述第一结构立面部分，包括：从所述第一位置估计和所述一个或多个立面表面位置，计算所述二维立面模式的期望视角；处理所述二维立面模式以生成第一视角模式；确定所述第一视角模式不满足所述第一图像的阈值匹配级别；从第一服务器计算机请求补充的一组立面数据；以及从所述第一服务器计算机接收所述补充的一组立面数据；其中所述第一结构立面部分的识别基于所述补充的一组立面数据。8.根据权利要求7所述的方法，其中从所述第一服务器计算机请求补充的一组立面数据包括：向所述第一服务器计算机传送所述环境的所述第一图像；以及其中接收所述补充的一组立面数据包括基于所述第一图像从所述第一服务器计算机接收补充的位置估计。9.根据权利要求8所述的方法，进一步包括：采集所述环境的第二图像；识别所述第二图像的第一结构立面部分；以及计算在所述第二图像的所述第一结构立面部分与所述第一图像的所述第一结构立面部分之间的视角差；以及使用所述第二位置估计和所述视角差来生成第三位置估计。10.根据权利要求7所述的方法，进一步包括：在所述装置处接收用于标签对象的二维增强现实数据；确定在具有所述一个或多个立面表面位置的平面上定位的所述标签...

【专利技术属性】
技术研发人员：N·于尔根松，罗琳捷，J·M·罗德里格斯二世，R·B·谢斯，J·李，吕旭涛，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：美国,US