本发明专利技术提供一种人脸特征点检测装置、特征点检测装置。将多个节点配置在预先确定的初始位置上，取得各节点周围的多个采样点的特征量，作为对应的各节点的节点特征量，根据相关关系的信息和各节点的节点特征量，取得表示当前的各节点位置与分别对应的特征点位置之间的偏差的误差估计量，其中，所述相关关系为学习用图像中以下两个值之间的相关关系：一个值是多个节点配置在分别对应的特征点的正解位置上的状态下与配置在错误位置的状态下所取得的两节点特征量之差，另一个值是正解位置和错误位置之差，根据该误差估计量和当前的各节点位置，来估计所输入的图像中的各特征点的位置。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及用于从图像中检测对象物的特征点的装置、方法及程序等中应用的有效技术。
技术介绍
作为从图像中检测对象物的特征点的技术，有把人脸作为对象物、检测人脸的特征点的技术。以下，对于把人脸作为对象物的情况下的
技术介绍
进行叙述。从拍摄了人物的图像中得到脸的特征点位置，从而可以推测例如该人物的眼睛的睁闭信息、脸姿势、视线方向、脸的表情等。此外，从这些推测结果可以更加详细地了解该人物的状态。并且，通过详细地把握人物的状态，可实现人机界面的性能提高，提供新的服务等。这样，在人机界面的开发上，正确地了解人脸的特征点位置成为重要的课题。作为这样的人机界面的例子，有驾驶员监视系统。在该系统中，依次观察驾驶员眼睛的睁闭、脸姿势、视线方向等。然后，根据该观察结果判断驾驶员的疲劳程度等，可以根据状况给出恰当的建议。此外，作为另一人机界面的例子，有对动态图像摄像机和静止图像照相机等的应用。在这些装置中，通过了解被摄者的脸姿势，可实现改变拍摄条件等多种多样的处理。另外，通过详细地分析眼睛的特征点或嘴的特征点等的图像，也能够高精度地进行个人的识别。作为从图像得到人脸特征点位置的方法(以下，称为“特征点检测方法”)通常采用模板匹配法及其应用。在这些方法中，预先保存各特征点的一般性信息(以下，称为“特征量”)。然后，通过对从图像内的一部分区域得到的特征量和所保存的特征量进行比较，判断是否为应取得的特征点。作为此时使用的特征量的具体例子，有图像的亮度值向量。此外，作为两个特征量的比较手段，通常使用归一化相关或欧几里得距离。作为这样的技术的例子，提出了通过分离度滤波器预先减少了搜索点数之后，通过模式匹配来检测特征点候选的技术(参照专利文献1)。在该技术中，在检测出特征点候选之后，应用几何约束条件，输出判断为最像人脸的候选点的组合。但是在该技术中，只能检测基本上朝向正面的、摄影条件较好的人物图像的特征点。因此，难以从特征点的一部分被遮蔽物挡住的图像或预先保存的摄影条件(例如照明条件)与特征点取得时有很大不同的图像中正确地检测出特征点。此外，也存在通过得到脸的特征点位置来估计脸姿势的技术(参照专利文献2、3)。在这样的技术中，一般采用在取得脸的特征点位置之后，使用其整体配置和特征量来进行估计的方法。例如，预先作为查询表保存表示眼、口、眉、鼻的特征点的坐标和脸姿势之间的关系。然后，根据该查询表判断与从图像中取得的特征点的坐标对应的脸姿势，作为估计结果输出。另外，也有相应于多个脸的朝向，准备脸整体模板或者脸的特征量的模板，通过与这些模板进行匹配来求出脸姿势的方法。但是，在这些方法中，能否正确地执行脸姿势的估计也取决于脸的特征点位置的精度。因此，如果不能正确地执行脸的特征点位置的取得，就不能正确地进行脸姿势的估计。作为解决这样问题的技术，有称为ASM(Active Shape Model，主动形状模型)的技术(参照非专利文献1)。在ASM中，预先对学习用的多个脸图像取得特征点的位置，生成并保持人脸形状模型。人脸形状模型由与各人脸特征点对应的节点构成。此外，关于人脸形状模型的具体情况将在具体实施方式部分中进行说明。接着，对于利用ASM从图像中检测特征点位置的处理进行说明。首先，在作为处理对象的图像的适当初始位置处配置该人脸形状模型。接着，在人脸形状模型的各节点的周围进行特征量的取得。对于各个节点，对所取得的特征量与预先与该节点对应地保持的特征量进行比较。通过该比较，把各节点移动到取得与各节点对应的特征量最接近的特征量的位置(即，判断为是与各节点对应的特征点的可能性最高的位置)。在该时刻，人脸形状模型的各节点的位置偏离初始位置。在此，把变形后的节点集合影射到人脸形状模型上而进行整形。反复执行从各节点周围的特征量取得起的处理，直到满足规定的次数或者一定的条件(收敛条件)。然后，把各节点的最终位置判断为各特征点的位置。如上所述，在ASM中，在各节点的位置移动之后，进行向人脸形状模型的影射。通过该处理，可以检测出特征点的正确位置，而各节点的位置关系仍然保持像脸的形状。即，在从一般的人脸形状分析无论如何不可能的位置上偶然存在具有与特征点相似的特征量的部分的情况下，也可以防止把这样的点误检测为特征点。但是，在以往的ASM中，需要在各节点中进行周围的搜索处理(特征量的取得和其比较)。因此，存在需要较多计算时间的缺点。此外，在以往的ASM中，存在鲁棒性低的问题。即，在作为处理对象的图像中脸的朝向与配置在初始位置上的人脸形状模型中假设的脸的朝向存在较大差异的情况下，存在检测特征点时失败的情况较多的问题。作为用于解决ASM这样的问题的技术，有AAM(Active AppearanceModel，主动表观模型)(参照非专利文献2)。在AAM中，如下这样求解人脸特征点的位置。首先，与ASM的情况同样，对学习用的人脸图像取得特征点的位置，生成人脸形状模型。接着，取得各节点位置的平均值，生成由平均位置的节点集合构成的平均形状模型。接着，在学习用人脸图像中生成由各特征点构成的多个面片(patch)，将各面片影射到平均形状模型上，生成自由形状图像(shape free image)(该处理称为“形状修正处理”)。然后，通过对自由形状图像的集合实施主成分分析，生成人脸亮度值模型(自由形状人脸亮度值模型)。接着，求出将人脸形状模型从正解位置向各方向微小地移位固定的量时的自由形状人脸亮度值向量。对于这些集合进行线性回归计算。由此，可以根据微小移位的人脸亮度值向量估计向人脸形状模型的正解点的移动/变形方向以及移动/变形量。在AAM中，预先执行以上的处理作为学习处理。接着，对利用AAM从图像中检测出特征点位置的处理进行说明。首先，在作为处理对象的图像的适当初始位置处配置人脸形状模型。接着，根据所配置的人脸形状模型的节点位置生成面片，对各面片中的亮度分布进行采样。然后，通过对所采样的亮度分布进行影射，来生成自由形状人脸亮度值模型。接着，根据该自由形状人脸亮度值模型，通过预先求出的回归式，估计人脸形状模型的移动/变形量。按照该估计结果对人脸形状模型进行移动/变形。反复执行以上的处理直到满足规定的次数或者一定的条件(收敛条件)。然后，把各节点的最终位置判断为各特征点的位置。根据AAM，如上所述，可以检测出各特征点的位置，而不用进行各节点周围的搜索处理。因此，与ASM的情况不同，无需花费时间对各节点周围进行搜索处理，可以削减计算时间。此外，通过对形状模型进行变形而进行搜索，因此与ASM的情况同样地，可以检测出特征点的正确位置，而各节点的位置关系仍然保持像人脸的形状。专利文献1日本特开平9-251534号公报专利文献2日本特开2000-97676号公报专利文献3日本特开2003-141551号公报非专利文献1A.Lanitis，C.J.Taylor，T.F.Cootes，“AutomaticInterpretation and Coding of Face Images Using Flexible Models”，IEEEPAMI Vol.19，No.7，pp743-756，July 1997非专利文献2T.F.Cootes，G.J.Edwards and C.J.Tayl本文档来自技高网...
【技术保护点】
一种人脸特征点检测装置，其特征在于，该人脸特征点检测装置具有：配置单元，其对于所输入的图像，将与人脸图像中的多个特征点分别对应的多个节点配置在预先确定的初始位置上；特征量取得单元，其在由所述配置单元配置的各节点的周围配置多个 采样点，取得所述多个采样点处的特征量，作为对应的各节点的节点特征量；存储单元，其预先存储关于在学习用图像中以下两个值之间的相关关系的信息：一个值是多个节点配置在分别对应的特征点正确位置上的状态下取得的所述节点特征量与多个节点配置在偏 离了分别对应的特征点正确位置的位置上的状态下取得的所述节点特征量之差，另一个值是各节点的所述正确位置和所述偏离位置之差；误差估计量取得单元，其根据存储在所述存储单元中的所述相关关系的信息和由所述特征量取得单元所取得的各节点的节点特征 量，取得表示当前的各节点位置与分别对应的特征点位置之间的偏差的误差估计量；以及估计单元，其根据由所述误差估计量取得单元所得到的所述误差估计量和当前的各节点位置，来估计所输入的图像中的各特征点的位置。
【技术特征摘要】
【国外来华专利技术】
【专利技术属性】
技术研发人员：木下航一，
申请(专利权)人：欧姆龙株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。