分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示制造技术

本发明专利技术提供一种移动装置，其使用由相机俘获的图像确定基于视觉的姿势，且使用来自例如加速计及陀螺仪等惯性传感器的数据确定基于传感器的姿势。所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中，所述视觉化应用程序针对所述不同姿势显示分离的图形。举例来说，所述视觉化应用程序可用以校准惯性传感器，其中所述视觉化应用程序基于所述基于视觉的姿势显示图形且基于所述基于传感器的姿势显示图形，且提示用户随着所述所显示图形在特定方向上移动所述移动装置以加速对所述惯性传感器的校准的收敛。或者，所述视觉化应用程序可为使用所述基于视觉的姿势及所述基于传感器的姿势显示分离的图形的基于运动的游戏或摄影应用程序。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显示相关串请案的交叉参考本申请案主张2012年12月21日申请且标题为“分离的基于计算机视觉的姿势与基于惯性传感器的姿势的显不(Display of Separate Computer Vis1n Based Pose andInertial Sensor Based Pose) ”的第13/725，175号美国申请案的权益及优先权，所述申请案转让给本受让人，且以引用的方式并入本文中。
本文中所描述的标的物的实施例大体上涉及将基于计算机视觉的姿势及基于惯性传感器的姿势分离地用于视觉化应用程序中，且更具体来说，涉及显示针对基于计算机视觉的姿势及基于惯性传感器的姿势的分离的图形以提示用户移动装置的移动。
技术介绍
例如智能电话、平板计算机、相机等等越来越多数目个移动装置除了相机以外还包含各种类型的惯性传感器。例如加速计及陀螺仪等惯性传感器归因于其在高取样速率下测量加速度及角速度的能力而被用于跟踪移动装置的移动。例如扩增实境、室内导航等等许多应用程序使用惯性传感器与计算机视觉的组合以用于确定移动装置的姿势(位置及定向)及跟踪移动装置。为了将惯性传感器用于准确位置确定，特别在将惯性传感器与计算机视觉技术组合时，需要对惯性传感器的准确校准。惯性传感器的校准包含将惯性传感器相对于相机对准，以及校准惯性传感器的尺度(scale)及非正交性参数。然而，惯性传感器的校准当前为耗时的工厂制程，每一个别移动装置皆需要惯性传感器的校准。在惯性传感器的工厂校准期间，执行移动装置的一系列精确移动且使所述精确移动与惯性传感器的响应相关。虽然存在通过用户运动校准传感器的一些途径，但此些途径的性能严重地取决于供应与工厂运动质量相似的用户运动。指示用户提供复杂且又高度准确的运动是困难的。然而，在无此些充足运动的情况下，工厂校准(其带来成本增加)为用以可靠地获得准确校准参数的唯一方式。
技术实现思路
移动装置使用由相机俘获的图像确定基于视觉的姿势，且使用来自例如加速计及陀螺仪等惯性传感器的数据确定基于传感器的姿势。所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中，所述视觉化应用程序显示针对所述不同姿势的分离的图形。举例来说，所述视觉化应用程序可用以校准所述惯性传感器，其中所述视觉化应用程序基于所述基于视觉的姿势显示图形且基于所述基于传感器的姿势显示图形，且提示用户随所述所显示图形在特定方向上移动所述移动装置以加速对所述惯性传感器的校准的收敛。或者，所述视觉化应用程序可为使用所述基于视觉的姿势及所述基于传感器的姿势显示分离的图形的基于运动的游戏或摄影应用程序。在一实施方案中，一种方法包含:使用经俘获图像确定移动装置的基于视觉的姿势；使用惯性传感器确定所述移动装置的基于传感器的姿势；及将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中。在一实施方案中，一种移动装置包含:相机，其俘获环境的图像；惯性传感器，其响应于所述移动装置的移动而产生数据；显示器；及处理器，其耦合到所述显示器、耦合到所述相机以接收所述环境的经俘获图像且耦合到所述惯性传感器以接收响应于所述移动装置的所述移动的所述数据，所述处理器经配置以使用所述经俘获图像确定所述移动装置的基于视觉的姿势；使用来自所述惯性传感器的所述数据确定所述移动装置的基于传感器的姿势；且使所述显示器基于所述基于视觉的姿势展示第一图形且基于所述基于传感器的姿势展示第二图形。在一实施方案中，一种移动装置包含:用于使用经俘获图像确定所述移动装置的基于视觉的姿势的装置；用于使用惯性传感器确定所述移动装置的基于传感器的姿势的装置；及用于将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的装置。在一实施方案中，一种存储媒体(包含存储于其上的程序代码)包含:用以使用经俘获图像确定移动装置的基于视觉的姿势的程序代码；用以使用惯性传感器确定所述移动装置的基于传感器的姿势的程序代码；及用以将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的程序代码。【附图说明】图1说明能够从经俘获图像确定基于视觉的姿势及从惯性传感器确定基于传感器的姿势且将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的移动装置。图2说明可由移动装置用于视觉化应用程序中的图形的一个可能实施方案。图3说明可由移动装置用于视觉化应用程序中的图形的另一可能实施方案。图4说明可由移动装置用于视觉化应用程序中的图形的另一可能实施方案。图5为说明将基于视觉的图形及基于传感器的图形分离地用于视觉化应用程序中的过程的流程图。图6为说明将基于视觉的图形、基于传感器的图形及混合图形用于视觉化应用程序中的过程的流程图。图7为说明用于校准惯性传感器的视觉化应用程序的特定实施例的流程图。图8为能够确定基于视觉的姿势及基于传感器的姿势且将基于视觉的图形及基于传感器的图形分离地用于视觉化应用程序中的移动装置的框图。【具体实施方式】图1说明能够从经俘获图像确定基于视觉的姿势及从惯性传感器确定基于传感器的姿势，且将所述基于视觉的姿势及所述基于传感器的姿势分离地用于视觉化应用程序中的移动装置100。视觉化应用程序针对基于视觉的姿势及基于传感器的姿势显示分离的图形，所述图形有时在本文中分别被称作基于视觉的图形及基于传感器的图形。通过实例，视觉化应用程序可用以校准惯性传感器、游戏、摄影等等。举例来说，可基于用户响应于所显示图形对移动装置的操控而校准惯性传感器。移动装置100被说明为包含显示器102，所述显示器102可为(但未必为)触摸屏显示器。移动装置100包含用以使例如目标101等环境成像的前向相机108，所述目标101被说明为展示于显示器102上。移动装置100还包含惯性传感器110，例如，加速计、陀螺仪或其类似者。移动装置100还可包含与本专利技术不相关的其它特征，例如扬声器104及麦克风106 (例如，在移动装置100为蜂窝式电话的情况下)。如本文中所使用，“移动装置”是指能够根据经俘获图像或视频流进行基于视觉的位置检测及跟踪且包含惯性传感器的任何便携式电子装置，且可包含(例如)蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PM)、个人数字助理(PDA)，或包含相机、无线通信装置、计算机、膝上型计算机、平板计算机，等等的其它合适移动装置。移动装置可(但未必需要)能够接收无线通信及/或导航信号(例如，导航定位信号)。术语“移动装置”还意欲包含(例如)通过短程无线、红外线、有线连接或其它连接而与个人导航装置(PND)通信的装置一一而不管在装置处或在PND处是否会发生卫星信号接收、辅助数据接收及/或位置相关的处理。移动装置100包含视觉姿势模块112，视觉姿势模块112使用由相机108俘获的图像(例如，由相机108产生的系列视频帧)以产生基于视觉的姿势。基于视觉的姿势为使用计算机视觉技术而确定的移动装置的位置及定向。应理解，相机108可俘获视频图像及/或帧，且术语图像及帧在本文中可互换地使用。移动装置100进一步包含惯性感测系统(INS) 114，所述惯性感测系统114使用惯性传感器1本文档来自技高网...

【技术保护点】
一种方法，其包括：使用经俘获图像确定移动装置的基于视觉的姿势；使用惯性传感器确定所述移动装置的基于传感器的姿势；及将所述基于视觉的姿势及所述基于传感器的姿势单独地用于视觉化应用程序中。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M·拉马钱德兰，C·布鲁纳，A·拉马南达恩，S·迪亚兹·斯平多拉，M·R·查里，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US