光学支持的对象导航制造技术

根据用户控制的物理对象在物理环境中的对应的位置确定对象在虚拟世界中显示的位置。当足够的标记可用时，使用物理环境中的标记来固定物理对象的位置，但是如果没有足够的标记可用时利用辅助导航系统，或者利用这两者来固定物理对象的位置。位置固定(相对位置和绝对位置)也可以光学地执行，而与任何对应的虚拟世界无关。

【技术实现步骤摘要】
【国外来华专利技术】光学支持的对象导航
本专利技术涉及用于通过图像解释来确定移动对象的位置的系统和方法。
技术介绍
越来越多的人正在某种形式的显示器上远程地或“虚拟地”观看事件和事物。在纯“虚拟现实”(VR)的情况下，所显示的对象的位置完全处于软件控制之下，因为观看者看到的场景不一定对应于任何物理世界，并且物理规则不一定适用。例如，在纯软件生成的虚拟世界中，没有什么能阻止虚拟马长出翅膀并飞入太空，也不能阻止人走过实体墙。在其它上下文中，无论是由于设计还是由于必要，所显示的“世界”至少部分地受到物理现实的约束。例如，在所显示的场景对应于物理世界中发生的事物的情况下，可以或必须遵循诸如重力的正规物理定律。在一些这样的上下文中，所显示的世界包括至少一个所显示的对象，其在所显示的世界中的位置应当对应于物理对象的实际位置。这于是需要某种方式来确定物理对象的位置。在一些情况下，使用安装在物理对象上的高精度、昂贵的位置系统是不切实际的、过于昂贵的、过于复杂的，或以其他方式不可行的。于是，问题是物理环境中的位置误差可能经常累积，使得物理到虚拟的对应性降级到超出可接受的或期望的程度。即使在没有VR世界正在显示的情况下，当涉及使用成像技术确定移动物理对象的位置时，也总是需要改进。附图说明图1A和图1B示出了如何可以光学地测量到对象的距离。图2示出了虚拟的显示的环境的一个示例，该虚拟的显示的环境对应于物理环境，在该物理环境中，操纵至少一个用户控制的对象(UCO)。图3示出了UCO及其控制器的主要硬件和软件部件。图4是总结UCO的位置在可能时如何可以被光学地固定，而在不可能时使用辅助导航系统的流程图。图5示出了使用光学距离确定的无人飞行器(UAV)的位置确定。图6示出了两个UAV的编队飞行，所述两个UAV使用光学距离确定来进行相对位置保持。具体实施方式图1A以简化形式示出了对象10，该对象10由透镜20成像到传感器表面(即“屏幕”30)上。这里，“对象”可以是物理项目本身，或者是在物理项目上作出的某标记或图像。如图1A所示，对象在方向z上的高度(即，在某已知方向上的线性延伸，其也可以是“宽度”或“对角线”)被称为hobject，其在距透镜的距离(在x方向上)dobject处。图像距透镜的距离及其成像高度分别是dimage和himage。一方面hobject和dobject之间的关系，另一方面himage和dimage之间的关系，将取决于透镜20的类型(例如，厚度和凸度)、其焦距以及其放大程度，并且可以使用公知的透镜和放大方程来确定。然而，重点在于，给定透镜特性、hobject、himage和dimage，可以使用已知的公式来计算dobject。在数码相机中，屏幕30通常是电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)器件等，其被布置成已知的像素图案。每单位距离的像素数量在任何特定的方向上是已知的。通常，像素密度在不同的正交方向上是相同的，但这不是必需的。与该讨论相关的仅仅是，对于在传感器表面上感测的任何图像，可以依据像素计算其在任何方向上的尺寸；因此，以像素表示的图像高度hpixel是图像高度的已知函数，不管himage以什么单位表示。简而言之，hpixel＝f(himage)，并且f将是已知的先验的。此外，如果hobject是已知的，以及透镜特性和dimage是已知的，则hpixel＝g(dobject)，其中可以预先确定函数g。相反，dobject＝g-1(hpixel)，并且也可以预先确定函数g-1。因为hobject和himage之间存在函数关系，所以不管方向如何，其他因素保持相同的话，在对象(例如对象10)的区域及其成像区域之间也存在类似的函数关系。因此，对于对象10的给定区域，其对应的图像所包括的像素的数量也可以被确定：在放大程度没有改变的情况下，对象10离透镜20越远，对象的每个部分及其区域在屏幕30上将显得越小。对于竖直地(z方向)延伸的对象，并且假设透镜的运动被限制在x-y平面，距离dobject将表示半径(取决于对象有多薄和多规则)，透镜位于该半径上。现在假设存在两个不在同一位置的对象，每个对象都具有已知的高度(或宽度，或角尺寸等)。使用上述技术，可以确定到每个对象的距离(即，距每个对象的半径)，使得透镜必须位于两个对应的圆的两个交叉点之一处。如果确定了到第三非并置的对象的距离，则将解决交叉点的模糊性，并且一个对象将具有“固定点”，即，单个点，透镜必须位于该点处。(当然，在实践中，可能存在测量误差，以使得“固定点”是可能位置的区域，通过测量到更多对象的距离并增加测量精度，可以使该区域越来越小。如果透镜(即，无论什么东西都包括透镜)不被限制在平面(诸如x-y平面)中移动，则可以从到至少四个对象的距离的测量获得固定点。参见图1B。如果对象在N-D平面(x-y平面，如图所示)中延伸，则成像方向D偏离对象(线性或2-D)的法线N越多，则其将呈现的越小。对于实际长度为Lo的对象，假设距离dobject保持恒定，则其将呈现为具有Lapparent＝Lo·cos(α)的长度，其中α是D和N之间的角度。由于从透镜20的角度来看，Lapparent与其它任何东西一样仅仅是线性距离，因此，当然也可以依据屏幕30上的相应图像的像素hpixel来表示Lapparent。现在假设人们知道Lo、dobject、透镜特性、dimage和Lapparent(其可以从himage确定)。然后，系统可以计算角α。假设透镜的运动被限制在x-y平面，则将仅存在透镜可以位于的两个方向(方位)：α度和(180-α)度处。如果hobject是已知的，则图1A的技术可以用于确定距离dobject，使得可以确定到单个对象的方位和距离，尽管为了正确的固定点必须确定所述两个可能的方位中的哪个方位是正确的；然而这可通过测量到至少一个附加对象的距离和/或方位，或从最近的最新的固定点的推断来确定。因此，用户控制对象(UCO)可以使用上述机制用于确定到标记的距离。而且，如果UCO设置有具有足够间隔的两个或更多个成像传感器，则用于确定到标记的距离的又一选项将是应用已知的对极几何(即，立体图像的几何)的原理和关系。还可以在UCO500中包括任何直接确定到标记的方位的装置。例如，UCO可以设置有罗盘521(图3)，例如磁通门罗盘。当标记在相机520的视场范围中，并且尤其是在该视场范围的中心附近时，则可以从罗盘输入到该标记的方位。与到该标记的距离的估计值一起，可以将UCO的位置固定在x-y平面中。图2示出了物理环境200，在该物理环境中，用户100通过控制器400操纵用户控制的对象(UCO)500。在图2中，UCO500是无线电控制的玩具坦克，但是，这当然仅仅是示例性的。在图2所示的示例中，其他两个玩具坦克501、502也在物理环境中自主地或者可能在其他用户(未示出)的控制下被操纵，由此构成了其他UCO。简而言之，图2可以示出多个用户在模拟的玩具坦克本文档来自技高网...

【技术保护点】
1.一种用于对应于在虚拟环境中移动的虚拟对象在物理环境中对物理对象进行导航的方法，包括：/nA)当所述物理对象位于第一位置时，在所述第一位置中具有至少一个物理标记，所述至少一个物理标记位于安装在所述物理对象上的至少一个成像装置的视场范围中，/ni)获取所述至少一个物理标记的图像；/nii)基于对所获取的所述至少一个物理标记的图像的评估确定所述物理对象在所述物理环境中的物理位置；以及/niii)确定所述虚拟对象在所述虚拟环境内的虚拟位置，所述虚拟位置与所确定的所述物理对象在所述物理环境中的物理位置相对应；以及/nB)当所述物理对象位于第二位置时，在所述第二位置中具有不多于预定数量的所述物理标记，所述不多于预定数量的所述物理标记位于所述视场范围中，/ni)使用所述物理对象的辅助位置系统估计所述物理对象的所述物理位置，所述辅助位置系统独立于所述物理标记的光学基准而操作；以及/nii)确定所述虚拟对象在所述虚拟环境内的估计虚拟位置，所述估计虚拟位置与所估计的物理位置相对应。/n

【技术特征摘要】
【国外来华专利技术】1.一种用于对应于在虚拟环境中移动的虚拟对象在物理环境中对物理对象进行导航的方法，包括：
A)当所述物理对象位于第一位置时，在所述第一位置中具有至少一个物理标记，所述至少一个物理标记位于安装在所述物理对象上的至少一个成像装置的视场范围中，
i)获取所述至少一个物理标记的图像；
ii)基于对所获取的所述至少一个物理标记的图像的评估确定所述物理对象在所述物理环境中的物理位置；以及
iii)确定所述虚拟对象在所述虚拟环境内的虚拟位置，所述虚拟位置与所确定的所述物理对象在所述物理环境中的物理位置相对应；以及
B)当所述物理对象位于第二位置时，在所述第二位置中具有不多于预定数量的所述物理标记，所述不多于预定数量的所述物理标记位于所述视场范围中，
i)使用所述物理对象的辅助位置系统估计所述物理对象的所述物理位置，所述辅助位置系统独立于所述物理标记的光学基准而操作；以及
ii)确定所述虚拟对象在所述虚拟环境内的估计虚拟位置，所述估计虚拟位置与所估计的物理位置相对应。


2.根据权利要求1所述的方法，还包括：
根据与所述成像装置特性相关的每个物理标记的成像尺寸，确定从所述物理对象到所述被成像的物理标记中的每个被成像的物理标记的物理距离；以及
根据所确定的一个或多个物理距离确定所述物理位置。


3.根据权利要求2所述的方法，其中，每个物理标记在至少一个维度上具有相应的预定尺寸。


4.根据权利要求2所述的方法，还包括：为所述多个物理标记中的至少一个物理标记提供光学可解释编码，所述光学可解释编码指示选自下列组中的至少一个特性：在至少一个维度上的预定尺寸、所述物理环境内的位置、以及对应的显示特征的类型。


5.根据权利要求3所述的方法，其中，对所获得的每个被成像的物理标记的图像的所述评估包括将所获得的每个图像在所述至少一个方向上的成像尺寸与所述成像装置内的基准进行比较。


6.根据权利要求3所述的方法，其中：
所述多个物理标记中的至少一个物理标记在至少两个维度上具有预定尺寸；
对所获得的每个被成像的物理标记的图像的所述评估包括将所获得的每个图像在所述至少两个方向上的成像尺寸与所述成像装置内的至少一个相应的基准进行比较。


7.根据权利要求2所述的方法，还包括将不同的缩放因子与所述多个物理标记中的不同的物理标记相关联，使得能够根据相应的缩放因子来调整对相应的不同虚拟对象相对于彼此的所述估计虚拟位置的确定。


8.根据权利要求1所述的方法，还包括在显示器上在所述虚拟环境内在所确定的虚拟位置处生成所述虚拟对象的图像，所确定的虚拟位置与所述物理对象在所述物理环境中的被确定的物理位置相对应。


9.根据权利要求8所述的方法，还包括将所述多个物理标记中的至少一个物理标记与在所述显示器上显示的对应的虚拟特征相关联。


10.根据权利要求9所述的方法，还包括生成在所述显示器内显示的至少一个移动虚拟特征的移动图像，所述至少一个移动虚拟特征具有以对应于所述多个物理标记中的至少一个物理标记而确定的所述虚拟位置为基准的特征位置。


11.根据权利要求1所述的方法，其中，所述显示器被包括在虚拟现实视图器中。


12.根据权利要求1所述的方法，其中，所述辅助位置系统具有累积误差。


13.根据权利要求12所述的方法，还包括在所述物理对象从所述第二位置移动到所述第一位置时，根据所述累积误差估计累积的误差的量。


14.根据权利要求13所述的方法，还包括在所述物理对象从所述第二位置转换到所述第一位置时，显示从所述物理对象在所述第二位置时的所述虚拟环境的估计状态到与所述物理对象在所述第一位置相对应的所述虚拟环境的当前状态的转换虚拟环境。


15.根据权利要求13所述的方法，还包括对应于所估计的累积的误差的量对所述辅助位置系统进行校正。


16.根据权利要求12所述的方法，还包括，在所述物理对象从所述第一位置转换到所述第二位置时，利用对应于转换位置的位置参数初始化所述辅助位置系统。


17.根据权利要求1所述的方法，其中，所述辅助位置系统是惯性测量单元。


18.根据权利要求1所述的方法，其中，由用户根据所述虚拟对象在所述虚拟环境中的所述虚拟位置来操纵所述物理对象。


19.根据权利要求1所述的方法，还包括基于用户控制的物理对象在所述物理环境中的所述物理位置来生成用于在所述虚拟环境中显示的事件。


20.根据权利要求1所述的方法，其中，所述物理对象的所述第一位置和所述第二位置取决于所述成像装置的角取向。


21.一种用于操纵无人飞行器(UAV)的方法，包括：
经由安装在所述无人飞行器上的相机，获取至少一个物理对象的图像；
基于所获得的相应的图像来测量从所述无人飞行器到所述至少一个物理对象的相应的位置参数；以及
基于所获得的一个或多个图像自主地遵循飞行轨迹，对应于所确定的一个或多个位置参数定位所述无人飞行器。


22.根据权利要求21所述的方法，其中，所述飞行轨迹是固定位置。


23.根据权利要求21所述的方法，其中，所述飞行轨迹是轨道。


24.根据权利要求22所述的方法，还包括感测编队位置保持命令。


25.根据权利要求24所述的方法，还包括：
在当前图像视图中识别与所述至少一个物理对象对应的至少一个被成像的对象；
测量所述至少一个被成像的对象的图像特性；以及
在所述无人飞行器内自主地控制无人飞行器飞行，以便通过将所述对应的至少一个被成像的对象中的每个被成像的对象的所述图像特性保持基本上恒定来保持相对于所述至少一个物理对象的编队位置。


26.根据权利要求25所述的方法，还包括在所述无人飞行器内自主地选择所述至少一个物理对象。


27.根据权利要求26所述的方法，包括通过识别静态结构的几何特征特性来识别所述至少一个被成像的对象。


28.根据权利要求25所述的方法，其中，所述固定位置是相对于移动对象被确定的。


29.根据权利要求24所述的方法，其中，所述移动对象是第二无人飞行器。


30.根据权利要求29所述的方法，还包括：
分别从所述无人飞行器和所述第二无人飞行器获取一区域的第一图像和第二图像；以及
根据所述第一图像和所述第二图像编辑所述区域的立体成像数据。


31.根据权利要求25所述的方法，还包括从用户接收目标选择数据，所述目标选择数据识别所述至少一个物理对象。


32.根据权利要求25所述的方法，其中，每个图像特性选自距离和方位的组。


33.根据权利要求21所述的方法，其中，所述飞行轨迹是非静态的。


34.根据权利要求21所述的方法，其中，所述位置参数是距离估计值。


35.根据权利要求21所述的方法，其中，所述位置参数是方位。


36.根据权利要求21所述的方法，其中，所述无人飞行器自主地测量所述位置参数。


37.一种用于对应于在物理环境中的用户控制的物理对象在虚拟环境中操纵虚拟对象的系统，包括：
控制器，所述控制器使得用户能够在所述物理环境中操纵所述物理对象；
成像装置，所述成像装置...

【专利技术属性】
技术研发人员：伊戈尔·卡拉泰耶夫，匡正，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44