低功率视觉跟踪系统技术方案

提供了用于低功率视觉跟踪系统的系统、方法和非瞬态介质。一种示例方法可包括：接收由来自第一设备上的图像传感器系统集的每一图像传感器系统捕捉的一个或多个图像，该一个或多个图像捕捉第二设备上的图案集，其中第一设备具有与第二设备相比较低的功率要求，该图案集在第二设备上具有预定配置；根据由每一图像传感器系统捕捉的一个或多个图像来确定与第二设备上的图案集相对应的像素集；基于与图案集相对应的像素集来确定每一图案在空间中的位置和相对姿态；以及基于每一图案的位置和相对姿态来确定第一设备相对于第二设备的姿态。对姿态来确定第一设备相对于第二设备的姿态。对姿态来确定第一设备相对于第二设备的姿态。

【技术实现步骤摘要】
【国外来华专利技术】低功率视觉跟踪系统


[0001]本公开一般涉及用于扩展现实和其他应用的视觉跟踪系统。
[0002]背景
[0003]可以在各种应用(诸如扩展现实(例如，虚拟现实、增强现实、混合现实等)、计算机视觉、和机器人)中使用姿态估计，以确定对象和/或设备相对于目标(诸如场景、人类、另一对象和/或另一设备)的位置和取向。可使用姿态信息来管理对象/设备与场景、人类、另一对象和/或另一设备之间的交互。例如，机器人的姿态(例如，位置和取向)可用于允许机器人操纵对象或在场景中四处移动时避免与对象碰撞。作为另一示例，用户穿戴的设备与设备控制器的相对姿态可用于向用户提供扩展现实体验，其中跟踪设备控制器的姿态和移动并在用户穿戴的设备上渲染设备控制器的姿态和移动。然而，姿态估计系统的计算复杂性可能施加显著的功率和资源需求，并且在各种应用中可能成为限制因素。姿态估计的计算复杂性还可能限制依赖于姿态信息的跟踪和定位应用的性能和可缩放性。
[0004]简要概述
[0005]公开了用于针对扩展现实和其他应用的低功率视觉跟踪的系统、方法和计算机可读介质。根据至少一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收由第一设备上的至少一个图像传感器系统捕捉的一个或多个图像，所述一个或多个图像捕捉在第二设备上具有预定配置的图案集，其中所述第一设备与所述第二设备相比具有较低的功率要求；根据由所述至少一个图像传感器系统捕捉的所述一个或多个图像来确定与所述第二设备上的所述图案集相对应的像素集；基于与所述第二设备上的所述图案集相对应的所述像素集来确定来自所述图案集的每一图案在空间中的位置和相对姿态；以及基于来自所述图案集的每一图案在空间中的所述位置和所述相对姿态来确定所述第一设备相对于所述第二设备的姿态。2.如权利要求1所述的方法，其中所述至少一个图像传感器系统包括图像传感器系统集，并且其中确定所述第一设备相对于所述第二设备的姿态是进一步基于所述第一设备上的所述图像传感器系统集的预定的相对位置和取向的。3.如权利要求2所述的方法，进一步包括：确定空间中与由所述图像传感器系统集捕捉的场景相关联的一个或多个点的三维(3D)坐标；以及基于所述图像传感器系统集的预定的相对位置和取向以及空间中的所述一个或多个点的所述3D坐标来确定所述第一设备上的所述图像传感器系统集的相对3D姿态，其中所述第一设备相对于所述第二设备的姿态是进一步基于所述第一设备上的所述图像传感器系统集的所述相对3D姿态的。4.如权利要求1所述的方法，其中所述第一设备相对于所述第二设备的姿态包括六自由度(6DoF)姿态，并且其中所述图案集的所述预定配置包括以下至少一者：每一图案在所述第二设备上的相对位置、每一图案在所述第二设备上的相对取向、每一图案的形状、每一图案的大小、每一图案的特性、以及所述图案集的布置。5.如权利要求1所述的方法，其中确定来自所述图案集的每一图案在空间中的位置和相对姿态包括：通过旋转空间中与对应于所述图案集的所述像素集相对应的3D坐标来确定所述图案集的3D取向，所述3D坐标是相对于参考3D坐标来旋转的；以及通过平移空间中与对应于所述图案集的所述像素集相对应的所述3D坐标来确定所述图案集的3D位置，所述3D坐标是相对于所述参考3D坐标来平移的。6.如权利要求5所述的方法，其中每一图案的相对姿态是基于所述图案集的所述3D取向和所述图案集的所述3D位置的，并且其中每一图案的位置包括来自所述图案集的所述3D位置的相应3D位置。7.如权利要求1所述的方法，其中确定所述第一设备相对于所述第二设备的姿态进一步包括确定所述第二设备相对于所述第一设备的姿态，其中所述第一设备的姿态包括第一6DoF姿态并且所述第二设备的姿态包括第二6DoF姿态。8.如权利要求1所述的方法，其中所述第一设备包括手控制器设备并且所述第二设备包括头戴式显示设备。9.如权利要求1所述的方法，其中所述至少一个图像传感器系统包括低功率图像传感
器系统，并且其中所述图案集中的每一图案在红外频谱和可见光频谱中的至少一者中是可见的。10.如权利要求1所述的方法，其中所述图案集中的至少一个图案包括经编码机器可读信息，所述经编码机器可读信息包括以下至少一者：与所述至少一个图案相关联的位置信息、与所述至少一个图案相关联的标识符、唯一代码、设置、以及关于与所述第一设备和所述第二设备中的至少一者上主存的扩展现实应用相关联的用户账户的信息。11.如权利要求1所述的方法，其中确定与所述第二设备上的所述图案集相对应的所述像素集包括：基于由所述至少一个图像传感器系统捕捉的所述一个或多个图像来检测来自所述第二设备上的所述图案集的每一图案；以及标识来自所述图案集的每一图案中的一个或多个点，所述一个或多个点与来自所述像素集的一个或多个像素相对应，其中确定每一图案在空间中的位置和相对姿态是基于每一图案中的所述一个或多个点的。12.如权利要求1所述的方法，其中确定与所述第二设备上的所述图案集相对应的所述像素集包括：基于由所述至少一个图像传感器系统捕捉的所述一个或多个图像来检测来自所述第二设备上的所述图案集的每一图案；对于每一图案，检测较小的内部图案；以及标识每一较小的内部图案中的一个或多个点，所述一个或多个点与来自所述像素集的一个或多个像素相对应，其中确定每一图案在空间中的位置和相对姿态是基于每一较小的内部图案中的所述一个或多个点的。13.如权利要求1所述的方法，其中确定所述第一设备相对于所述第二设备的姿态包括确定所述第一设备相对于所述第二设备的6DoF姿态以及所述第二设备相对于所述第一设备的6DoF姿态，所述方法进一步包括：基于由所述至少一个图像传感器系统捕捉的一个或多个附加图像来检测所述一个或多个附加图像中捕捉的对象上的一个或多个附加图案；确定所述一个或多个附加图像中与所述对象上的所述一个或多个附加图案相对应的一个或多个像素；以及基于所述一个或多个像素来确定所述对象相对于所述第一设备的6DoF姿态和所述第二设备的6DoF姿态中的至少一者的附加6DoF姿态。14.如权利要求13所述的方法，其中所述对象包括墙、显示设备、视频游戏控制台、家具、电器、或家庭用品。15.一种装置，包括：存储器；以及耦合至所述存储器的一个或多个处理器，所述一个或多个处理器被配置成：接收由所述装置上的至少一个图像传感器系统捕捉的一个或多个图像，所述一个或多个图像捕捉在一设备上具有预定配置的图案集，其中所述装置与所述设备相比具有较低的
功率要求；根据由所述至少一个图像传感器系统捕捉的所述一个或多个图像来确定...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：