用于确定位置和方位的方法和设备技术

一种标志检测器检测排列在来自由摄像装置拍摄的图像的场景上的标志的图像坐标。方位传感器附着在摄像装置上，并且输出测量到的方位。方位预测单元基于方位传感器所获得的测量到的方位预测摄像装置的方位。位置／方位计算器接收摄像装置的预测的方位以及每个标志的一组图像坐标和世界坐标，确定摄像装置的位置以及方位传感器的方位角－漂移－误差校正值的更新值，并且计算摄像装置的位置和方位。

【技术实现步骤摘要】

本专利技术涉及一种用于确定目标的位置和方位的技术。
技术介绍
近年来，进行了大量的关于混合现实的研究，其针对现实空间和虚拟空间的无缝合成。混合现实可以通过视频透视方法显示在图像显示装置上，其中虚拟空间的图像(例如，由计算机图形或文本信息绘成的虚拟物体)叠加到用例如摄像机的摄像装置拍摄而成的现实空间的图像上。虚拟空间根据摄像装置的位置和方位而生成。另外，混合现实还可以通过光学透视方法显示在设置于观察者头部的光学透视型显示器上，其中显示了根据观察者的观察点的位置和方位而生成的虚拟空间的图像。作为不同于已知的对于虚拟现实的应用的这些图像显示装置的应用，可以期待新的领域如外科辅助工具，可以将病人身体内的状态叠加到体表或混合现实游戏，其中游戏者与虚拟空间内的虚拟敌人作战。在这两种新的应用领域中，都要求现实空间与虚拟空间的精确对齐，并且为了达到这个目的进行了各种各样的实验。在视频透视方法中，摄像装置在场景(也就是，在世界坐标系)中的位置和方位的精确确定可以导致混合现实中的精确对齐。同样地，在光学透视方法中，对于观察点或显像在场景上的位置和方位的精确确定可导致混合现实的精确对齐。在视频透视方法中，通常通过在场景上排列或设定多个标志，也就是人造标记或自然特征并检测标志在由摄像装置拍摄的图像上的投影的坐标来确定摄像装置在场景上的位置和方位。另外，可以将惯性传感器附着在摄像装置上，并且可以将基于传感器的测量结果而估计的摄像装置的位置和方位用于对标志的检测处理中。估计的结果同样还可以用作初始值用于基于图像计算位置和方位或在未检测标志的情况下用作大致位置。相应地，相较于仅使用了图像信息的情况(参见例如，Hirofumi Fujii、Masayuki Kanbara、Hidehiko Iwasa、Haruo Takemura以及Naokazu Yokoya所著的“ARegistration Method Using Stereo Cameras with an Inertial Sensor forAugmented Reality”，IEICE Technical Report，PRMU 99-192，vol.99，no.574，pp.1-8)，可以执行更为稳定的对齐。在光学透视方法中，通常通过在目标物体上附着摄像装置(以及惯性传感器)、由上述方法确定摄像装置的位置和方位并基于摄像装置的位置和方位计算目标物体的位置和方位来确定目标物体的位置和方位(也就是，观察者的头或显示屏)。下面参考图1对已知的确定摄像装置的位置和方位的位置/方位确定设备进行描述。图1显示了已知的位置/方位确定设备的结构。如图1所示，已知的位置/方位确定设备100包括图像输入单元160、数据存储器170、标志检测器110、方位传感器单元140、方位预测单元150以及位置/方位计算器120，并且连接到摄像装置130。另外，作为由摄像装置130拍摄的标志(以下简称为标志)，将多个标志Qk(k＝1...K1)排列在现实空间的多个位置上。标志Qk在世界坐标系(坐标系由位于现实空间的一个确定点上的原点以及互相垂直的X，Y以及Z轴来定义)的位置是已知的。标志Qk可以排列成当将摄像装置放置在其位置和方位待确定的目标区域内时，总是能够在摄像装置130所获得的图像上观察到至少有三个或更多的标志。在图1所示的例子中，排列了四个标志Q1，Q2，Q3，和Q4，并且将其中的三个标志Q1，Q3和Q4布置在摄像装置130的视野内。标志Qk可以是具有不同色彩的圈形标记或特征点，例如具有不同质地特征的自然特征。只要图像上的标志的投影坐标是可检测的，并且能够个别地彼此区分这些标志，就可以使用任何类型的标志。将摄像装置130所输出的图像(下文中称为拍摄图像)输入位置/方位确定设备100。图像输入单元160将输入到位置/方位确定设备100的拍摄图像转换为数字数据，存储数据到数据存储器170，并且输出将图像输入方位预测单元150的时间。将方位传感器单元140附着在摄像装置130上。方位传感器单元140测量出其自身目前的方位并且将所测量到的方位输出到方位预测单元150。方位传感器单元140基于回转仪传感器，例如，可以使用Tokimec Inc.制造的TISS-5-40或InterSense Inc.制造的Inertia Cube 2。这些方位传感器单元中的每一个都生成一个随着时间而累积的漂移误差。这样，所测量到的方位包括有误差，且与真实方位有异。方位预测单元150在对应于前一帧的时间(下文中称为时间τ-1)从数据存储器170处收到摄像装置130的计算方位(从位置/方位计算器120输出)。当摄像装置130输出的是NTSC信号时，在对于每个帧的位置和方位待确定的情况下时间τ-1为33.3毫秒之前而在对于每个半帧的位置和方位待确定的情况下为16.7毫秒。另外，方位预测单元150还在对应于现在帧的时间(下文中称为时间τ)从方位传感器单元140处收到测量到的方位，预测摄像装置130在时间τ的方位，并且输出预测的方位到数据存储器170。标志检测器110从数据存储器170处接收拍摄图像并且检测到图像所包括的标志Qk的图像坐标。例如，当标志Qk是具有不同色彩的标记时，检测出拍摄图像上对应于标记的色彩的区域，并且将被检测区域的中心点的坐标定义为检测坐标。另外，当标志Qk是具有不同质地特征的特征点时，就在拍摄图像上进行采用了标志模板图像的模板匹配来检测标志的位置。在这种情况下，预先存储标志的模板图像作为已知信息。标志检测器110还可以从数据存储器170处接收摄像装置130在时间τ所计算的位置(从位置/方位计算器120输出)以及预测的方位(从方位预测单元150输出)。在这种情况下，将这些值用于预测图像上的标志的位置并且限制搜索范围，因此就能够以较小的计算负载进行标志检测处理，并且可以减少对于标志的误检测和误识别。然后，标志检测器110输出被检测标志Qkn的图像坐标uQkn以及标识符kn到数据存储器170。这里，n(n＝1...N)指的是被检测标志，且N表示的是被检测标志的总数。例如，在图1所示的情况下，N为3，并且标识符k1＝1、k2＝3以及k3＝4，并且输出对应的u图像坐标Qk1、uQk2以及uQk3。位置/方位计算器120从数据存储器170处接收在时间τ的预测的方位以及由标志检测器110所检测到的一组每个标志Qkn的图像坐标uQkn以及世界坐标xWQkn。接着，位置/方位计算器120基于使用预测的方位的标志以及作为初始值的在时间τ-1所计算的位置之间的关系计算摄像装置130的位置和方位。将这样计算出的位置和方位输出到数据存储器170，并通过接口(I/F)(没有显示)输出到外部装置。数据存储器170存储从图像输入单元160输入的图像、从方位预测单元150输入的预测的方位、从位置/方位计算器输入的所计算的位置和方位、从标志检测器110输入的标志的图像坐标和标识符以及事先已知的标志的世界坐标，并且在必要的时候输入或输出这些数据。以下将结合图2的流程图来描述由包括在已知设备内的方位预测单元150所进行的处理。虽然有很多方法来表示方位，本例中使用了一个3×3的旋转矩阵。在步骤S2000中，方位预测单元150判本文档来自技高网...

【技术保护点】
一种用于确定目标物体的位置和方位的位置／方位确定方法，该方法包括：图像输入步骤，用于输入从附着在目标物体上的摄像装置获得的拍摄图像；方位输入步骤，用于输入从方位传感器获得的测量到的方位，所述方位传感器获取关于目标物体的方位的 信息；特征检测步骤，用于获得关于来自拍摄图像的场景上排列的标志的图像坐标的特征值，作为测量到的特征值；以及计算步骤，用于计算用于确定目标物体的位置和方位的参数，利用关于该参数的理论特征值的图像雅可比行列式计算该参数，使得在特 征检测步骤中所获得的测量到的特征值和基于测量到的方位和估计的参数而获得的理论特征值之间的误差减小。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：佐藤清秀，内山晋二，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[日本]