计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法制造方法及图纸

公开了能够以高精度和低计算量估计难以仅用二维图像检测的、产生了立体的表情变化的面部形状的计测对象提取装置。在该装置中，面部纹理评价值计算单元(103)对于多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与面部形状候选的纹理的重合度的面部纹理评价值，面部表情变化似然计算单元(104)对于多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与面部形状候选之间的第一似然，相关评价单元(105)对于多个面部形状候选的每个面部形状候选，计算表示面部纹理评价值与第一似然之间的相关的强度的第一相关评价值，提取单元(107)提取多个面部形状候选中的、第一相关评价值低于第一阈值的面部形状候选作为计测对象。

【技术实现步骤摘要】
【国外来华专利技术】计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
本专利技术涉及计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法。
技术介绍
为了获知人的感情或状态，有时会估计表情发生变化的面部形状。例如，在驾驶车辆中产生了睡意时，驾驶员的面部往往会产生皱眉、伴随深呼吸而撅起嘴唇、鼓起脸颊这样的表情变化。因此，这些表情变化成为用于检查驾驶员的睡意的指标。在以往使用的面部形状估计方法中，为了提高面部形状的估计精度，设置“眼、鼻或嘴等面部部位处于无表情时的标准形状和位置”的限制，从而估计面部形状。但是，在该面部形状估计方法中，由于设置了该限制，因此无法检测脱离标准形状并发生了上述表情变化的面部。此外，在此，“表情变化”指的是面部处于不是无表情的状态。与此不同，在非专利文献1所公开的技术(以下称为现有技术1)中，预先学习产生了表情变化的面部的图像，从而检测表情变化时的面部部位的形状和位置。另外，在专利文献1(以下称为现有技术2)所公开的技术中，对面部部位的三维位置进行测距，根据面部部位的三维位置估计面部的立体形状。由此，在非专利文献1或专利文献1所公开的技术中，能够检测发生了上述表情变化的面部。现有技术文献专利文献专利文献1：日本特开2005-182247号公报非专利文献非专利文献1：PaulViolaandMichaelJ.Jones，”RapidObjectDetectionusingaBoostedCascadeofSimpleFeatures″，IEEECVPR，2001
技术实现思路
专利技术要解决的问题但是，在现有技术1中，用于学习的图像为二维信息，因此无法应对面部部位的形状在二维上(平面上)没有变化、但在三维上(立体上)发生变化时的表情变化。例如，在现有技术1中，无法对应于撅起嘴唇、鼓起脸颊等表情变化。另外，在现有技术2中，为了检测表情变化(估计面部的立体形状)，需要对面部整体的三维位置进行测距，面部形状估计的计算处理量变得庞大。因此，在现有技术2中，难以实时地检测产生了表情变化的面部。本专利技术的目的在于，提供计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法，其能够以高精度和低计算量估计难以仅用二维图像检测的、产生了立体的表情变化的面部形状。解决问题的方案本专利技术的一个方案的计测对象提取装置，提取多个面部形状候选中的、成为利用距离传感器的三维形状的计测对象的候选，采用的结构包括：面部纹理评价值计算单元，对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值；似然计算单元，对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状的三维坐标与所述面部形状候选的三维坐标之间的第一似然；相关评价单元，对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值；提取单元，提取所述多个面部形状候选中的所述第一相关评价值小于第一阈值的面部形状候选作为所述计测对象；以及三维形状计测单元，使用所述距离传感器对基于所述输入的面部图像和由所述提取单元提取的面部形状候选所设定的规定区域的三维形状进行计测。本专利技术的一个方案的面部形状估计装置采用的结构包括：所述计测对象提取装置；所述三维形状计测单元，对在所述计测对象提取装置中作为所述计测对象提取出的面部形状候选的三维形状进行计测；形状候选评价单元，对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值；再评价单元，对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值；以及确定单元，基于所述第一形状候选评价值和所述第二形状候选评价值，从所述多个面部形状候选中确定对所述面部图像的估计形状。本专利技术的一个方案的计测对象提取方法，提取多个面部形状候选中的、成为利用距离传感器的三维形状的计测对象的候选，包括如下步骤：对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值的步骤；对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状的三维坐标与所述面部形状候选的三维坐标之间的第一似然的步骤；对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值的步骤；提取所述多个面部形状候选中的所述第一相关评价值低于第一阈值的面部形状候选作为所述计测对象的步骤；以及使用所述距离传感器对基于所述输入的面部图像和提取的面部形状候选所设定的规定区域的三维形状进行计测的步骤。本专利技术的一个方案的面部形状估计方法，包括如下步骤：进行通过所述计测对象提取方法作为所述计测对象提取出的面部形状候选的三维形状的所述计测的步骤；对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值的步骤；对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值的步骤；以及基于所述第一形状候选评价值和所述第二形状候选评价值，确定所述多个面部形状候选中的、对所述面部图像的估计形状的步骤。专利技术效果根据本专利技术，能够以高精度和低计算量估计难以仅用二维图像检测的、产生了立体的表情变化的面部形状。附图说明图1是表示本专利技术实施方式1的计测对象提取装置的主要结构的框图。图2是表示本专利技术实施方式1的计测对象提取装置的结构的框图。图3是表示本专利技术实施方式1的其他计测对象提取装置的结构的框图。图4是表示本专利技术实施方式1的其他计测对象提取装置的结构的框图。图5是表示本专利技术实施方式1的面部形状估计装置的结构的框图。图6是表示本专利技术实施方式1的面部形状估计装置的工作的流程图。图7是表示本专利技术实施方式1的面部纹理评价值与面部表情变化似然之间的相关的图。图8是表示本专利技术实施方式1的面部纹理评价值与面部表情变化似然之间的相关的图。图9是表示本专利技术实施方式2的计测对象提取装置的结构的框图。图10是表示本专利技术实施方式2的面部形状估计装置的结构的框图。图11是表示本专利技术实施方式2的面部形状估计装置的工作的流程图。图12是表示本专利技术实施方式3的计测对象提取装置的结构的框图。图13是表示本专利技术实施方式3的面部形状估计装置的工作的流程图。图14是用于说明本专利技术实施方式3的表情肌似然的计算方法的图。图15是表示本专利技术实施方式4的面部形状估计装置的结构的框图。图16是表示本专利技术实施方式4的面部形状估计装置的工作的流程图。标号说明100、300、500计测对象提取装置200、400、600面部形状估计装置101输入单元102、102a、102b面部形状候选保持单元103、301面部纹理评价值计算单元104、302面部表情变化似然计算单元105、303相关评价单元106、304判断单元107、305提取单元201形状候选评价单元202、401三维计测单元203、402、601再评价单元204确定单元501表情肌似然计算单元具体实施方式以下，参照附图详细地说明本专利技术的各实施方式。<实施方式1>图1是表示本实施方本文档来自技高网...

【技术保护点】
计测对象提取装置，提取多个面部形状候选中的成为三维形状的计测对象的候选，包括：面部纹理评价值计算单元，对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值；似然计算单元，对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与所述面部形状候选之间的第一似然；相关评价单元，对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值；以及提取单元，提取所述多个面部形状候选中的所述第一相关评价值小于第一阈值的面部形状候选作为所述计测对象。

【技术特征摘要】
【国外来华专利技术】2011.12.13 JP 2011-2722031.计测对象提取装置，提取多个面部形状候选中的、成为利用距离传感器的三维形状的计测对象的候选，包括：面部纹理评价值计算单元，对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值；似然计算单元，对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状的三维坐标与所述面部形状候选的三维坐标之间的第一似然；相关评价单元，对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值；提取单元，提取所述多个面部形状候选中的所述第一相关评价值小于第一阈值的面部形状候选作为所述计测对象；以及三维形状计测单元，使用所述距离传感器对基于所述输入的面部图像和由所述提取单元提取的面部形状候选所设定的规定区域的三维形状进行计测。2.如权利要求1所述的计测对象提取装置，所述面部纹理评价值计算单元计算所述面部纹理评价值，对于所述面部形状候选的各面部部位，计算表示所述面部图像和所述面部部位的重合度的面部部位纹理评价值，所述似然计算单元计算所述第一似然，对于所述面部形状候选的每个所述面部部位，计算成为所述基准的面部形状与所述面部部位之间的第二似然，所述相关评价单元计算所述第一相关评价值，对于所述面部形状候选的每个所述面部部位，计算表示所述面部部位纹理评价值与所述第二似然之间的相关的强度的第二相关评价值，所述提取单元提取所述第一相关评价值低于所述第一阈值的面部形状候选的各面部部位中的、所述第二相关评价值低于第二阈值的面部部位作为所述计测对象。3.如权利要求2所述的计测对象提取装置，所述提取单元按照所述第二相关评价值从低到高的顺序，选择所述第二相关评价值低于所述第二阈值的面部部位中的、相对于所述面部部位的总数的规定的比例的数的面部部位，提取选择出的面部部位作为所述计测对象。4.如权利要求1所述的计测对象提取装置，所述似然计算单元对于所述多个面部形状候选的每个面部形状候选，计算所述第一似然，该所述第一似然表示在表示所述面部形状候选的多个特征点的三维坐标与成为所述基准的面部形状的所述多个特征点所对应的位置的三维坐标之间的变化量。5.如权利要求2所述的计测对象提取装置，所述似然计算单元通过比较所述面部形状候选的各面部部位的位置与成为所述基准的面部形状的位置，计算表示所述面部形状候选的各面部部位的位置与使所述各面部部位活动的表情肌的可动范围的重合度的所述第一似然。6.如权利要求1所述的计测对象提取装置，成为所述基准的面部形状是无表情时的面部形状。7.如权利要求1所述的计测对象提取装置，成为所述基准的面部形状是在先前规定的时间取得的面部形状。8.面部形状估计装置，包括：权利要求1所述的计测对象提取装置；所述三维形状计测单元，计测在所述计测对象提取装置中作为所述计测对象提取出的面部形状候选的三维形状；形状候选评价单元，对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值；再评价单元，对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值；以及确定单元，基于所述第一形状候选评价值和所述第二形状候选评...

【专利技术属性】
技术研发人员：筑泽宗太郎，久保谷宽行，Z牛，S普拉纳塔，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：日本;JP