图像处理装置及图像处理方法制造方法及图纸

本发明专利技术的一个方面公开了一种图像处理装置及图像处理方法。所述图像处理装置包括：图像获取单元，其被构造为获取包含面部的图像；区域定位单元，其被构造为在获取到的图像中，定位代表所述面部的属性的至少一个区域；特征提取单元，其被构造为从定位的区域中提取特征；以及特征整合单元，其被构造为对基于所述面部的对称性而彼此对称的定位的区域的特征进行整合。根据本发明专利技术，能够减少用于图像处理的特征的维数，并且能够尽可能地维持图像处理精度。

Image processing device and image processing method

In one aspect of the invention, an image processing apparatus and an image processing method are disclosed. The image processing apparatus includes an image acquisition unit configured to obtain the image of the face; the regional positioning unit, which is constructed in the image to get in at least one area of the attribute of facial positioning representative; feature extraction unit configured to extract features from the positioning of the region well; feature integration unit, which is constructed for the symmetry of the facial feature location based on symmetric to each other regional integration. According to the present invention, the dimensionality of features for image processing can be reduced and the image processing accuracy can be maintained as much as possible.

【技术实现步骤摘要】
图像处理装置及图像处理方法
本专利技术涉及用于图像处理的方法及装置，尤其涉及例如用于面部表情识别和面部识别的方法及装置。
技术介绍
近年来，在图像处理、计算机视觉与模式识别的领域中，普遍应用了面部表情识别。一般而言，在存储设备的大小不受限制的面部表情识别系统中，通常会从输入图像中提取具有高维数的面部表情特征，而后用于面部表情识别中，这是因为，识别精度总是依赖于使用的面部表情特征的维数(即，使用的面部表情特征具有的维数越高，则能够实现的识别精度越高)。然而，对于存储设备的大小受限制的面部表情识别系统，诸如照相机、数字照相机、电视摄像机、视频摄像机、移动电话、个人数据助理(PDA)或其他适合的电子设备，存在如下的需要，即，使用具有较低维数的面部表情特征，同时识别精度不会变差。在“AHalfFaceRecognitionScheme”(ShiduDong,BoHe,QunJiang,HuaqiuWang,TongyuanHuang,SNPD,2007,201011thACISInternationalConferenceonSoftwareEngineering,ArtificialIntelligence,NetworkingandParallel/DistributedComputing,201011thACISInternationalConferenceonSoftwareEngineering,ArtificialIntelligence,NetworkingandParallel/DistributedComputing2007,pp.355-358,doi:10.1109/SNPD.2007.415)中，公开了一种通过使用具有低维数的面部表情特征来识别面部表情的示例性技术。上述技术主要公开了以下操作：第一，在包含面部的输入图像中定位显著区域，其中这些显著区域能够代表输入图像中的面部的属性，诸如眼部区域、鼻部区域、嘴部区域等；第二，在输入图像中确定具有较高光照的半边脸，诸如，图1A中所示的矩形框代表具有较高光照的左半边脸，并且图1B中所示的矩形框代表具有较高光照的右半边脸；第三，选择在确定的半边脸上的显著区域；而后，从选择的显著区域中提取面部表情特征，用于面部表情识别。在上述技术中，仅从确定的半边脸中提取面部表情特征，因此，能够减少用于面部表情识别的面部表情特征的维数。然而，通过比较输入的面部的两个半边脸的光照，来确定用于提取面部表情特征的半边脸，因此，两个半边脸的光照差异越明显，则能够确定的用于提取面部表情特征的半边脸越具有辨别力，进而，能够实现的识别精度越高。换言之，如果两个半边脸的光照差异不明显(即，输入图像具有正常的光照)，则对于上述技术而言，将难以确定最具有辨别力的半边脸。并且，由于上述技术在识别面部表情时仅使用面部的一半的面部表情信息，因此，识别精度相比于通过在识别面部表情时使用整个面部的面部表情信息而实现的识别精度将变差。也即，对于具有正常光照的图像而言，虽然用于面部表情识别的面部表情特征的维数能够被减少，但是上述技术将实现较差的识别精度。
技术实现思路
因此，鉴于上面
技术介绍
中的叙述，本公开旨在解决如上所述的问题。根据本专利技术的一个方面，提供了一种图像处理装置，该图像处理装置包括：图像获取单元，其被构造为获取包含面部的图像；区域定位单元，其被构造为在获取到的图像中，定位代表所述面部的属性的至少一个区域；特征提取单元，其被构造为从定位的区域中提取特征；以及特征整合单元，其被构造为对基于所述面部的对称性而彼此对称的、定位的区域的特征，进行整合。利用本专利技术，能够减少用于图像处理的特征的维数，并且能够保持图像处理精度。通过以下参照附图的描述，本专利技术的进一步的特征及优点将变得清楚。附图说明被并入说明书并构成说明书的一部分的附图例示了本专利技术的实施例，并且与文字描述一起用来说明本专利技术的原理。图1A及图1B示意性地示出了根据现有技术的具有光照差异的人脸图像。图2A至图2C示意性地示出了各自包括不同面部表情的人脸图像。图3是示意性地示出根据本专利技术的实施例的图像处理装置的硬件配置的框图。图4是例示根据本专利技术的第一实施例的图像处理装置的配置的框图。图5A至图5C示意性地示出了被检测特征点和相应的定位的显著区域的示例。图6A及图6B示意性地示出了被检测特征点和相应的定位的显著区域的另一示例。图7A及图7B示意性地示出了与眼睛相关的一个定位的显著区域的划分块、以及从划分块中提取的特征的示例。图8是例示本专利技术的图4中所示的特征整合单元440的详细配置的框图。图9是示意性地示出图8中所示的特征整合单元440的处理的详细过程的流程图。图10是示意性地示出图9中所示的步骤S910的处理的详细过程的流程图。图11示意性地示出了部分的人脸被头发遮挡的人脸。图12A及图12B是示意性地示出关于左、右眼区域是否被遮挡的判断的图。图13A至图13D是示意性地示出基于面部的对称性而彼此对称的两个定位的显著区域、以及从这两个定位的显著区域中提取的相应特征的图。图14A至图14D是示意性地示出按面部的对称性而被划分为两个部分的定位的显著区域、以及从这两个部分中提取的相应特征的图。图15示意性地示出了定位的显著区域的一些块被面部的对称线划分为两个部分的情况。图16是示意性地示出根据第一实施例的总体处理的过程的流程图。图17是例示根据本专利技术的第二实施例的图像处理装置的配置的框图。图18是示意性地示出根据第二实施例的总体处理的过程的流程图。图19是示出根据第二实施例的、应用面部表情识别的在线教育评价系统的整体构造的框图。图20是例示根据本专利技术的第三实施例的图像处理装置的配置的框图。图21是示意性地示出根据第三实施例的总体处理的过程的流程图。具体实施方式下面，将参照附图来详细描述本专利技术的示例性实施例。应当指出，以下的描述实质上仅是说明性和示例性的，并且决不意在限制本专利技术及其应用或用途。在实施例中提出的构成要素及步骤的相对布置、数值表达式以及数值并不限制本专利技术的范围，除非另外特别说明。此外，本领域技术人员已知的技术、方法及设备可能不作详细讨论，但在适当的情况下应当作为本说明书的一部分。请注意，类似的附图标记及字母指代图中的类似项目，因而，一旦项目在一个图中被定义，则对于之后的图不需要再讨论该项目。统计数据表明，人脸具有对称性。换言之，不仅对于具有中性表情(如图2A所示)的面部，而且对于具有诸如微笑表情(如图2B所示)、悲伤表情(如图2C所示)等其他表情的面部，人脸都几乎是左右对称的，其中，图2中所示的虚线是面部的对称线。因此，本专利技术人发现，能够利用面部的对称性，来减少在识别面部表情时的面部表情特征的维数。同时，能够尽可能地保持图像处理精度。(图像处理装置的硬件配置)首先，将参照图3，来描述能够实现下文所述的技术的图像处理装置的硬件配置。图3是示意性地示出根据本专利技术的实施例的图像处理装置的硬件配置300的框图。通过诸如个人计算机(PC)、照相机、数字照相机、电视摄像机、视频摄像机、移动电话、个人数据助理(PDA)或其他适合的电子设备，来实施根据本专利技术的实施例的图像处理装置。图像处理装置的硬件配置300可以包括中央处理单元(CPU)310本文档来自技高网...

【技术保护点】
一种图像处理装置，该图像处理装置包括：图像获取单元，其被构造为获取包含面部的图像；区域定位单元，其被构造为在获取到的图像中，定位代表所述面部的属性的至少一个区域；特征提取单元，其被构造为从定位的区域中提取特征；以及特征整合单元，其被构造为对基于所述面部的对称性而彼此对称的、定位的区域的特征，进行整合。

【技术特征摘要】
1.一种图像处理装置，该图像处理装置包括：图像获取单元，其被构造为获取包含面部的图像；区域定位单元，其被构造为在获取到的图像中，定位代表所述面部的属性的至少一个区域；特征提取单元，其被构造为从定位的区域中提取特征；以及特征整合单元，其被构造为对基于所述面部的对称性而彼此对称的、定位的区域的特征，进行整合。2.根据权利要求1所述的图像处理装置，其中，所述特征整合单元包括：特征组合单元，其被构造为针对一个定位的区域：在所述定位的区域的中心不在所述面部的对称线上的情况下，将所述定位的区域的特征与所述定位的区域的对称区域的特征进行组合；以及在所述定位的区域的中心在所述面部的所述对称线上的情况下，将所述定位的区域的第一子区域的特征与所述定位的区域的第二子区域的特征进行组合，其中，所述定位的区域被所述面部的所述对称线划分为所述第一子区域和所述第二子区域。3.根据权利要求2所述的图像处理装置，其中，所述特征整合单元还包括：遮挡区域确定单元，其被构造为针对一个定位的区域，确定该定位的区域是否为遮挡区域；特征重新确定单元，其被构造为针对一个遮挡区域，根据基于所述面部的对称性而与所述遮挡区域对称的、相应的定位的区域的特征，来重新确定所述遮挡区域的特征。4.根据权利要求3所述的图像处理装置，其中，所述特征重新确定单元：在所述遮挡区域的中心不在所述面部的所述对称线上的情况下，基于所述遮挡区域的遮挡面积大小以及所述遮挡区域的对称区域的遮挡面积大小，来重新确定所述遮挡区域的特征或者所述对称区域的特征；以及在所述遮挡区域的中心在所述面部的所述对称线上的情况下，基于所述遮挡区域的第一子区域的遮挡面积大小以及所述遮挡区域的第二子区域的遮挡面积大小，来重新确定所述第一子区域的特征或所述第二子区域的特征。5.根据权利要求4所述的图像处理装置，其中，所述特征重新确定单元：在所述遮挡区域的遮挡面积大小大于所述对称区域的遮挡面积大小的情况下，将所述对称区域的特征确定为所述遮挡区域的特征；否则，将所述遮挡区域的特征确定为所述对称区域的特征...

【专利技术属性】
技术研发人员：孙东慧，李献，温东超，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：日本,JP