在空中产生未知环境的参考补丁，以用于定位和跟踪。使用具有两个垂直的平行线集合的平面对象的所捕获图像来产生所述参考补丁。在图像中检测所述平面对象，且使用所述两平行线集合的消失点来界定世界坐标系的轴。基于所述所界定的轴来恢复相机旋转，且使用所述所恢复相机旋转来产生所述平面对象的所述图像的至少一部分的所述参考补丁。接着，可将所述参考补丁用于基于视觉的检测和跟踪。可在所述图像中检测所述平行对象，作为平行线集合或作为矩形。
【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】在空中产生未知环境的参考补丁，以用于定位和跟踪。使用具有两个垂直的平行线集合的平面对象的所捕获图像来产生所述参考补丁。在图像中检测所述平面对象，且使用所述两平行线集合的消失点来界定世界坐标系的轴。基于所述所界定的轴来恢复相机旋转，且使用所述所恢复相机旋转来产生所述平面对象的所述图像的至少一部分的所述参考补丁。接着，可将所述参考补丁用于基于视觉的检测和跟踪。可在所述图像中检测所述平行对象，作为平行线集合或作为矩形。【专利说明】用于扩增实境的在线参考补丁产生和姿态估计未决临时申请案的交叉参考本申请案主张2011年7月26日申请且标题为“用于扩增实境的在线参考补丁产生和姿态估计(Online Reference Patch Generation and Pose Estimation forAugmented Reality) ”的第13 / 191，340号美国申请案的优先权，第13 / 191，340号美国申请案又根据35 USC 119而主张2011年4月20日申请且标题为“用于扩增实境的在线参考地图产生和姿态估计(Online Reference Map Generation and Pose Estimation forAugmented Reality) ”的第61 / 477，524号美国临时申请案的优先权，上述两个申请案均转让给本案受让人，且以引用的方式并入本文中。
技术介绍
扩增实境系统可将虚拟对象插入在真实世界的用户视图中。成功的扩增实境系统的一个关键要求是可准确地估计用户相对于参考(例如3D模型等)的姿态的跟踪系统。这允许虚拟扩增与真实世界环境紧密重合。用于扩增实境的跟踪系统需要获取参考，其可为环境的3D模型、放在环境中的人工标记，或环境中的平面表面的正视图像。然而，在执行扩增实境之前获得参考并不总是方便或可能的。对环境的现有知识的依赖性大大限制了扩增实境技术的使用。因此，在空中产生环境的参考是合意的。乔治.克莱因(George Klein)和大卫.穆雷(David Murray)的“相机电话上的并行跟踪和测绘(Parallel Tracking and MappingOn a Camera Phone) ”(第 8 届 IEEE 混合与扩增实境国际研讨会(ISMAR)，第83-86页，2009年10月19-22日)(“PTAM”)描述已知跟踪技术的实例，其不需要环境的现有知识。PTAM方法通过检测环境中的平面表面来初始化参考补丁。此方法要求在两个图像中检测表面，且计算两个图像之间的单应性，并将其用以估计在表面上检测到的点的3D位置。因此，PTAM方法需要两个图像来产生参考补丁，而本专利技术只需要一个。W.李、Y.帕克、V.雷培提(L印eti)、W.吴的“用于移动电话上的普适加标签的对准即拍(Point-and-Shoot) ” (2010年第9届IEEE混合与扩增实境国际研讨会，第57-64页，2010年10月13-16日)中描述跟踪技术的另一实例(有时称为对准即拍方法)，其中通过加速计来估计相机定向。使图像弯曲到正视图，且产生一组“平均补丁”。将每一平均补丁计算为有限范围的视点内的补丁的平均值，且所有平均补丁上的范围涵盖所有可能视图。因此，对准即拍方法依靠传感器来产生参考补丁。此外，对准即拍方法需要垂直或水平位置上的平面对象。例如由ARTookKit使用的另一方法跟踪印刷在待跟踪环境的表面上的预产生的高对比度正方形。因此，改进是合意的。
技术实现思路
在空中产生未知环境的参考补丁以用于定位和跟踪。使用具有垂直的两平行线集合的平面对象的所捕获图像来产生参考补丁。在图像中检测平面对象，且使用两平行线集合的消失点来界定世界坐标系的轴。基于所界定的轴恢复相机旋转，且使用恢复的相机旋转来产生平面对象的图像的至少一部分的参考补丁。接着可将参考补丁用于基于视觉的检测和跟踪。可在图像中检测平面对象，作为平行线集合或作为矩形。在一个方面中，一种方法包含:用移动平台捕获平面对象的一个图像，所述平面对象包括第一平行线集合，其垂直于第二平行线集合；检测所述一个图像中的所述平面对象；使用所述第一平行线集合的第一消失点界定世界坐标系的第一轴，且使用所述第二平行线集合的第二消失点界定所述世界坐标系的第二轴；使用所述第一轴和所述第二轴恢复相机旋转；使用恢复的所述相机旋转产生所述平面对象的所述一个图像的至少一部分的参考补丁；以及比较所述参考补丁与所述平面对象的额外所捕获图像，以估计所述移动平台相对于所述平面对象的姿态。在另一方面中，一种设备包含相机，其用于捕获平面对象的图像，所述平面对象包括第一平行线集合，其垂直于第二平行线集合。所述设备进一步包含处理器，其耦合到所述相机，用于接收所述平面对象的所述图像，所述处理器适于检测所述图像中的所述平面对象，使用所述第一平行线集合的第一消失点界定世界坐标系的第一轴，且使用所述第二平行线集合的第二消失点界定所述世界坐标系的第二轴，使用所述第一轴和所述第二轴恢复相机旋转，使用恢复的所述相机旋转产生所述平面对象的所述一个图像的至少一部分的参考补丁，且比较所述参考补丁与所述平面对象的额外所捕获图像，以估计相对于所述平面对象的姿态。在另一方面中，一种设备包含:用于捕获平面对象的一个图像的装置，所述平面对象包括第一平行线集合，其垂直于第二平行线集合；用于检测所述一个图像中的所述平面对象的装置；用于使用所述第一平行线集合的第一消失点界定世界坐标系的第一轴且使用所述第二平行线集合的第二消失点界定所述世界坐标系的第二轴的装置；用于使用所述第一轴和所述第二轴恢复相机旋转的装置；用于使用恢复的所述相机旋转产生所述平面对象的所述一个图像的至少一部分的参考补丁的装置；以及用于比较所述参考补丁与所述平面对象的额外所捕获图像以估计相对于所述平面对象的姿态的装置。在又一方面中，一种其上存储有程序代码的非暂时计算机可读媒体包含:用以检测图像中的平面对象的程序代码，所述平面对象具有第一平行线集合，其垂直于第二平行线集合；用以使用所述第一平行线集合的第一消失点界定世界坐标系的第一轴且使用所述第二平行线集合的第二消失点界定所述世界坐标系的第二轴的程序代码；用以使用所述第一轴和所述第二轴恢复相机旋转的程序代码；用以使用恢复的所述相机旋转产生所述平面对象的所述图像的至少一部分的参考补丁的程序代码；以及用以比较所述参考补丁与所述平面对象的额外所捕获图像以估计相对于所述平面对象的姿态的程序代码。【专利附图】【附图说明】图1说明可产生未知环境的参考补丁的移动平台，其可用于定位和跟踪。图2是描述产生未知环境的参考补丁的过程的流程图。图3说明平面矩形对象的消失点，所述消失点用以界定真实世界坐标系的轴。图4说明弯曲到正视图以产生参考补丁的平面对象的图像。图5说明将参考补丁发射到第二移动平台的第一移动平台。图6是说明基于检测垂直平行线集合来检测图像中的平面对象的过程的流程图。图7是说明识别平行线和消失点的过程的流程图。图8和9说明消失点的确定。图10说明基于垂直平行线集合而识别的平面对象。图11是说明通过识别图像中的矩形来检测平面对象的过程的流程图。图12说明识别为矩形的平面对象。图13说明可产生假正本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：蒋博兰，查理·惠勒·斯威特三世，普拉逊·乔杜里，迪拉杰·阿胡贾，
申请(专利权)人：高通股份有限公司，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。