图像处理设备及方法技术

本发明专利技术提供了一种图像处理设备及方法。在基于自然特征的位置和姿态测量中，当观察目标对象被另一对象遮蔽时防止自然特征的错误检测，并且提高了配准稳定性。为此，定义了可以遮蔽观察目标对象的遮蔽对象，并且在输入的拍摄图像中检测遮蔽对象遮蔽了观察目标对象的遮蔽区域。在除了检测到的遮蔽区域之外的拍摄图像的区域中检测观察目标对象的图像特征。因此，计算出拍摄了拍摄图像的图像拾取设备的位置或姿态、或者拍摄图像中的观察目标对象的位置或姿态。

【技术实现步骤摘要】

本专利技术涉及用于基于在拍摄的图像上检测到的图像特征，计算图 像拾取设备或者观察目标对象的位置和姿态中至少一个的技术。
技术介绍
近来，已积极进行了用于提供现实和虚拟空间的无缝融合的混合现实(MR)技术的研究。在这些MR技术中，特别是在现实空间上 叠加虚拟空间的增强现实(AR)技术已受到观注。采用AR技术的图像提供设备主要由视频透视或者光学透视的 头戴式显示器(HMD)来实现。在视频透视的HMD中，把依据诸如HMD中的摄像机之类的图 像拾取设备的位置和姿态而产生的虚拟空间图像(例如，由计算机图 形描绘的虚拟对象或者文本信息)叠加在图像拾取设备拍摄的现实空 间图像上，并且把所得的合成图像显示给用户。在光学透视的HMD 中，把依据HMD的位置和姿态而产生的虚拟空间图像显示在透射型 显示器上，以允许在用户的视网膜上形成现实和虚拟空间的合成图 像。关于AR技术的最严重的问题之一是现实和虚拟空间之间的精 确配准(registration)，为处理这个问题，已进行了许多尝试。在视 频透视的HMD中，AR中的配准问题包括场景中(就是说，在场景 中定义的基准坐标系中)图像拾取设备的位置与姿态的精确确定。在 光学透视HMD中，配准问题包括场景中HMD的位置与姿态的精确 确定。为了解决前一问题，通常在场景中放置人工标记并且利用这些标 记在基准坐标系中确定图像拾取设备的位置与姿态。从图像拾取设备 所拍摄的图像中的标记的检测位置与已知信息之间的对应关系中确 定基准坐标系中的图像拾取设备的位置与姿态，该已知信息即为标记 在基准坐标系中的三维位置。为了解决后一问题，通常把图像拾取设备连附在HMD上并以类 似于上述方式的方式来确定图像拾取设备的位置与姿态，从而以所确 定的图像拾取设备的位置与姿态为基础，来确定HMD的位置与姿态。在摄影测量和计算机视觉的领域中，用于基于图像坐标与三维坐 标之间的对应关系来确定图像拾取设备的位置与姿态的方法已被提 出了很久。在R.M.Haralick、 C丄ee、 K.Ottenberg、以及M.Nolle所著的 "Review and Analysis of Solutions of the Three Point Perspective Pose Estimation Problem", International Journal of Computer Vision, vol.13, No.3， PP. 331-356,1994 (在下文中称为"文献1")中公开了用 于通过基于三个点的对应关系求解非线性方程组来确定图像拾取设 备的位置与姿态的方法。在D.G丄owe所著的"Fitting Parameterized Three-Dimensional Models to Images", IEEE Transactions Pattern Analysis and Machine Intelligence, voU3， No.5, PP. 441-450， 1991 (在下文中称为"文献2") 中公开了用于基于多个点的图像坐标与三维坐标之间的对应关系，通 过迭代计算使图像拾取设备的大致位置与姿态最优化来确定图像拾 取设备的位置与姿态的方法。AR技术中的除配准以外的另一严重问题是需要确定现实与虚拟 空间之间的在前/在后关系的遮蔽(occlusion)问题。例如，当虚拟对 象位于被诸如手之类的现实对象隐藏或遮蔽的位置上时，必须在虚拟 对象前面描绘现实对象。如果不考虑遮蔽效应，总是使虚拟对象描绘 在现实对象前面，则观看所得的图像的观察者会感觉不自然。在日本 专利特开No.2003-296759 (在下文中称为"专利文献，，)中，通过预先 指定遮蔽的现实对象的颜色(例如，手的颜色)以便不使虚拟对象被 描绘在与遮蔽的现实对象具有相同颜色的拍摄图像的区域中，从而来 克服遮蔽问题。在N.Yokoya、 H.Takemura、 T.Okuma、以及M.Kanbara所著 的"Stereo Vision based video see-through mixed reality", in(Y.Ohta& H.Tamura，edsO Mixed Reality-Merging Real and Virtual Worlds, Chapter 7， Ohmsha-Springer Verlag， 1999 (在下文中称为"文献11") 中，通过使用由HMD的两个内置摄影机拍摄到的图像进行立体匹配 来获得现实空间深度信息，从而克服遮蔽问题。通过近来计算设备的高速性能，已积极地进行对于利用出现在场 景中的特征(在下文中称为"自然特征，，)而不是人工标记进行配准的 研究。在T.Drummond和R.Cipolla所著的"Real-time visual tracking of complex structures", IEEE Transaction Pattern Analysis and Machine Intelligence, vol.24， No.7， PP. 932-946,2002 (在下文中称为 "文献3")、和A丄Comport, E.Marchand，以及F.Chaumette所著的 "A real-time tracker for markerless augmented reality", Proceedings of the Second IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR03), PP. 36-45,2003 (在下文中称为 "文献4")中公开了用于基于观察对象的图像边缘和三维模型之间的 对应关系来确定图像拾取设备的位置与姿态的方法。在这些方法中，首先，(1)利用图像拾取i殳备的大致位置和大 致姿态把三维模型投影在拍摄的图像上。图像拾取设备的大致位置和 大致姿态例如是在前一帧中计算出的位置和姿态。然后，(2)包括 投影的模型的线段在图像上被分成等间隔，并且，对于每一分割点， 搜索在垂直于投影的线段的方向上强度梯度局部最大的点(边缘)作 为对应点。此外，(3)确定图像拾取设备的位置与姿态的校正值， 以便为单个分割点找到的对应点与对应的投影线段之间的距离在图 像上变得最小，并且对图像拾取设备的位置与姿态进行更新。利用更 新后的图像拾取设备的位置与姿态，再次把三维模型投影在拍摄的图 像上，并且迭代步骤(3)，直到距离的和已收敛于最佳值。由此，获得图像拾取设备的最终位置与姿态。在上述的步骤(2)中，如果图像拾取设备的大致位置和大致姿 态的精确度低，则可能出现错误检测。也就是说，错误的点被检测为 对应点。如果发生这种错误检测，则在步骤(3)中迭代计算可能不 收敛，或者所获得的图像拾取设备的位置和姿态的精度可能为低，从 而导致低精度的AR配准。因此，在文献3和4中，M估计(M-estimator)，作为一种强 健的估算方法，被用来通过给在对应点和线段之间具有大距离的数据 分配小权重、并且给具有小距离的数据分配大权重而使加权的错误的 和最小。因此，消除了错误检测的任何影响。本文档来自技高网...

【技术保护点】
一种图像处理设备，其包括：对象定义单元，其被配置为定义能够遮蔽要被观察的目标对象的特定对象；图像获得单元，其被配置为获得图像拾取设备所拍摄到的拍摄图像；区域检测器，其被配置为从获得的拍摄图像中检测包括该特定对象的区域；图像特征检测器，其被配置为从拍摄图像中检测目标对象的图像特征；以及计算单元，其被配置为基于图像特征检测器检测到的图像特征，计算拍摄了拍摄图像的图像拾取设备的位置或姿态、或者拍摄图像中的目标对象的位置或姿态，其中，图像处理设备被配置为在确定拍摄了图像的图像拾取设备的位置和／或姿态、或者拍摄图像中的目标对象的位置和／或姿态时，不考虑来自检测到的区域的特征。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：小竹大辅，中泽寿弘，铃木雅博，武本利果，佐藤清秀，岩濑好彦，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP[]