图像识别设备、方法和机器人设备技术

在图像识别设备（１）中，特征点提取部分（１０ａ）和（１０ｂ）从模型图像和对象图像中提取特征点。特征量保留部分（１１ａ）和（１１ｂ）提取每一个特征点的特征量并将它们与特征点的位置信息一起保留。特征量比较部分（１２）将特征量彼此进行比较以计算相似性或相异性，并产生具有比较高的对应可能性的候选关联的特征点。模型姿态估计部分（１３）重复将由从候选关联的特征点对组中随机选择的三对确定的仿射变换参数投射到参数空间上的操作。模型姿态估计部分（１３）假设在参数空间中形成的具有最多成员的簇中的每一成员是内露层。模型姿态估计部分（１３）使用内露层根据最小平方估计求出仿射变换参数，并输出由此仿射变换参数确定的模型姿态。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及图像识别设备、其方法和具有这样的图像识别功能的机器人设备，用于从包含多个对象的对象图像中提取要检测的模型。本申请要求以于2003年4月28日申请的日本专利申请No.2003-124225作为优先权基础，这里本申请进行了引用。
技术介绍
目前，许多在实践中使用的对象识别技术根据顺序相似性检测算法和互相关系数使用模板匹配技术。模板匹配技术在可以假设检测对象出现在输入图像中的特殊情况下是有效的。然而，在从不一致的视点或照明状态的普通图像中识别对象的环境中，该技术是无效的。此外，还有人提出了形状匹配技术，该技术查找检测对象形状特征和通过图像分离技术提取的输入图像中的每一个区域的形状特征之间的匹配。在上文所提及的环境中识别普通对象的情况下，区域分离会产生不一致的结果，难以在输入图像中提供对象形状的高质量的表示。当检测对象部分地被另一个对象隐藏时，识别变得特别困难。上文所提及的匹配技术使用了输入图像或其部分区域的总体特征。相比之下，有人提出了另一种技术。该技术从输入图像中提取特征点或边缘。该技术使用图表和图形来表示包括提取的特征点或边缘的线段集或边缘集之间的空间关系。该技术基于图表或图形之间的结构相似性执行匹配。此技术对特殊的对象非常有效。然而，变形的图像可能会阻止特征点之间的结构的稳定的提取。如上所述，这就使得识别部分地被另一个对象隐藏的对象尤其困难。此外，还有其他匹配技术，用于从图像中提取特征点并使用从本地附近的特征点和图像信息中获取的特征量。例如，C.Schmid和R.Mohr将由Harris角检测器检测的角当作特征点，并提议一种技术以使用特征点附近的不可旋转的特征量(C.Schmid and R.Mohr；″Local grayvalue invariants for image retrieval，IEEE PAMI，Vol.19.No 5，pp.530-534，1997)。此文件在下文中被称为文件1。该技术使用特征点处的部分图像失真的恒定局部特征量。与上文所提及的各种技术相比，即使图像变形或者检测对象被部分地隐藏，此匹配技术也可以执行稳定的检测。然而，文件1中所使用的特征量对于放大或缩小图像没有恒定性。如果放大或缩小，则难以识别图像。另一方面，D.Lowe提议使用在放大或缩小图像的情况下不变的特征点和特征量的匹配技术(D.Lowe，″Object recognition from localscale-invariant features″，Proc.of the International Conference onComputer Vision，Vol.2，pp.1150-1157，September 20-25，1999，Corfu，Greece)。此文件在下文中被称为文件2。下面参考图1描述了由D.Lowe提议的图像识别设备。如图1所示，图像识别设备400包括特征点提取部分401a和401b。特征点提取部分401a和401b从用于提取特征点的图像(模型图像或对象图像)中获取以多分辨率表示的图像。多分辨率表示被称为规模-空间表示(参见Lindeberg T.，″Scale-spaceA frameworkfor handling image structures at multiple scales″，Journal of AppliedStatistics，Vol.21，No.2，pp.224-270，1999)。特征点提取部分401a和401b向具有不同分辨率的图像应用DoG(高斯差)滤波器。来自DoG滤波器的输出图像包含局部点(局部最大点和局部最小点)。这些局部点中的某些点不会由于指定范围内的分辨率变化而会产生位置变化，并作为特征点检测到。在此示例中，分辨率级别的数量是预先确定的。特征量保留部分402a和402b提取并保留由特征点提取部分401a和401b提取的每一特征点的特征量。此时，特征点提取部分401a和401b使用特征点邻近区域的规范方向和方向平面。规范方向是提供累积高斯加权梯度强度的方向直方图的峰值的方向。特征量保留部分402a和402b保留规范方向作为特征量。特征量保留部分402a和402b规范化有关特征点邻近区域的梯度强度信息。也就是说，通过假设规范方向是0度来校正方向。有关邻近区域中的每一个点的梯度强度信息按梯度方向以及位置信息进行分类。例如，让我们考虑将有关邻近区域中的点的梯度强度信息总共分类为八个方向平面(每一个平面45度)的情况。假设梯度信息在邻近区域的局部坐标系上方向为93度，在点(x，y)的强度为m。此信息作为这样的信息来映射，在具有90度标记并与邻近区域具有相同局部坐标系的方向平面上的位置(x，y)的强度为m。此后，根据分辨率规模，每一个方向平面都被模糊，并重新取样。特征量保留部分402a和402b保留具有相当于如上面求出的(分辨率的数量)x(方向平面的数量)x(每一个方向平面的大小)的维的特征量矢量。然后，特征量比较部分403使用k-d树查询(具有极好的检索效率的对特征空间的最近的相邻的查询)来检索其特征量最类似于每一个对象特征点的特征量的模型特征点。特征量比较部分403保留获取的候选关联的特征点对作为候选关联的特征点对组。另一方面，模型姿态估计部分404使用通用霍夫变换，根据模型特征点和对象特征点之间的空间关系估计对象图像上的模型的姿态(旋转角、放大或缩小比以及线性位移的图像变换参数)。此时，期望使用每一个特征点的上文所提及的规范方向作为通用霍夫变换的参数参考表(R表)的索引。模型姿态估计部分404的输出是图像变换参数空间上的表决结果。获得最大表决分数的参数提供模型姿态的粗略估计。候选关联的特征点对选择部分405只选择这样的候选关联的特征点对，以缩小候选关联的特征点对组的范围，所选择的候选关联的特征点对的对象特征点作为为该参数而表决的成员。最后，模型姿态估计部分406基于对应的特征点对组的空间位置，使用最小平方估计来估计仿射变换参数。此操作基于这样的限制条件要检测的模型由图像畸变通过仿射变换处理为对象图像。模型姿态估计部分406使用仿射变换参数将候选关联的特征点对组的模型特征点转换为对象图像。模型姿态估计部分406从对应的对象特征点求出位置位移(空间距离)。模型姿态估计部分406排除具有过度的位移的对，以更新候选关联的特征点对组。如果有两个或更少候选关联的特征点对组，模型姿态估计部分406通过发出不能检测模型的通知来终止。否则，模型姿态估计部分406重复此操作，直到满足指定的终止条件。最后，模型姿态估计部分406以通过在满足终止条件时有效的仿射变换参数确定的模型姿态输出模型识别结果。然而，在文件2中描述的D.Lowe的技术中存在多个问题。首先，有关特征点中的规范方向的提取存在问题。如上所述，规范方向由方向确定，以提供方向直方图中的峰值，该峰值累积了从有关特征点邻近区域的局部梯度信息求出的高斯加权梯度强度。根据文件2的技术易于检测对象角部内部的特征点。由于两个峰值出现在方向直方图中的彼此正交的方向上，靠近这样的特征点，因此，存在检测多个竞争的规范方向的可能性。在稍后的阶段，特征量比较部分403并模型姿态估计部分404不是针对这样本文档来自技高网...

【技术保护点】
一种图像识别设备，该设备将包含多个对象的对象图像与包含要检测的模型的模型图像进行比较，并从对象图像中提取模型，该设备包括：特征点提取装置，用于从对象图像和模型图像二者的每一个中提取特征点；特征量保留装置，用于作为特征量提取和 保留密度梯度方向直方图，所述密度梯度方向直方图至少从对象图像和模型图像二者的每一个中的特征点的邻近区域中的密度梯度信息获得；特征量比较装置，用于将对象图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关 联的特征点对；以及模型姿态估计装置，用于使用候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，特征量比较装置在密度梯度方向巡回地移动要比较的特征点密度梯度方向直方图中的一个，以求出密度 梯度方向直方图之间的距离，并通过假设最短距离是密度梯度方向直方图之间的距离来产生候选关联的特征点对。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：铃木洋贵，佐部浩太郎，藤田雅博，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]