用于面部图像处理的方法和设备技术

本发明专利技术提供了用于图像处理的方法、相应设备和计算机程序产品。该方法包括对图像执行面部检测，基于该面部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界，以及基于所述轮廓边界，调整所述粗糙面部分割区域以获得精细面部分割区域。利用本发明专利技术的方法、相应设备和计算机程序产品，图像中的粗糙面部区域可以得到精细分割，从而为后续基于精细面部分割区域的图像处理提供了良好的基础。

Method and apparatus for facial image processing

The invention provides a method for image processing, a corresponding device and a computer program product. The method includes the implementation of face image detection, the face detection based on contour to obtain rough face at least one facial segmentation region and the at least one face, and based on the contour, adjust the rough segmentation to obtain fine facial facial region segmentation. By using the method of the invention, the corresponding device and computer program product, rough facial regions in images can be finely divided, so as to further fine facial image processing segmentation based on region provides a good foundation.

【技术实现步骤摘要】
用于面部图像处理的方法和设备
本专利技术的示例性和非限制性实施方式一般地涉及图像处理，更具体地，本专利技术的实施方式涉及用于面部图像处理的方法和设备。
技术介绍
随着移动照相技术的不断发展，越来越多的用户在每天日常生活中使用移动设备来进行拍照，并将所拍摄的照片或图片通过无线网络发送给好友和同事，或者发布于博客或社交网站，以便及时与好友和同事进行分享。在发布照片前，很多用户(尤其是女性用户)期望能够对照片做一些面部的图像处理，以期获得各种效果。这就对当前的面部图像处理技术提出了更高的要求。当前的面部图像处理技术面临的一个主要挑战是如何自动和精准的从包括面部和周边区域的图像中分割出面部，作为进一步面部图像处理的基础。分割出精细的面部区域有利于实现后续令人满意的各种图像处理，例如面部图像编辑、增效等。如果在从图像中分割面部时引入了一些背景图像或者丢失了一些面部区域，将仅获得例如如图1所示出的粗糙面部图像分割区域。如图1中所示出，检测到的面部分割区域由虚线包围。从该虚线所包括的面部分割区域可以看出，由于拍摄时的背景照明或者周边颜色的相似度，该分割区域左侧包括了非面部的小段区域，而右侧则将面部靠近左耳的部分面部区域排除在面部分割区域以外。显然，这样的面部分割结果是粗糙的，而基于此粗糙面部分割区域进行后续处理，往往将导致得到的面部图像严重失真，或者得到的效果令用户难以接受。实现精细面部区域分割的困难在于图片中对象的多样性、拍摄设备的多样性以及拍摄时环境光线的多样性。事实上，当前的大多数方案并不足以处理具有各类面部特征的图片，例如图片来自于白人或黑人、正面或侧面、在室内或室外拍摄、年轻人或老年人，以及具有不同的清晰度或模糊度。特别地，复杂多变的取景条件会造成面部不平衡的色彩分布并且可能看起来较为模糊，这也导致仅仅通过使用亮度信号或肤色信号对图片进行面部分割无法得到令人满意的效果。进一步，面部区域和背景物体之间的颜色相似度也使在分割完整的面部区域时，难以对颜色信息做到很好的区分。因此，如何获得可靠精细的面部分割区域成为面部图像处理需要解决的首要问题。
技术实现思路
为了缓解或克服上面所提到的技术问题，本专利技术的实施方式提供了高效的面部图像分割方案，使得粗糙面部分割区域得到进一步细化，从而得到高质量和高准确度的精细面部分割区域。基于该精细面部分割区域，本专利技术的实施方式还提出对该精细面部分割区域进行进一步的图像处理，以满足不同用户对于图片效果的需求。为此，本专利技术的一个实施方式提供了一种方法。该方法包括对图像执行面部检测。该方法还包括基于所述面部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界。进一步，该方法包括基于所述轮廓边界，调整所述粗糙面部分割区域以获得精细面部分割区域。本专利技术的另一实施方式提供了一种设备。该设备包括：至少一个处理器以及包含计算机程序代码的至少一个存储器。所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备至少执行对图像执行面部检测。所述处理器以及所述存储器还被配置成利用所述处理器，使得所述设备至少执行基于所述面部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界。进一步，所述处理器以及所述存储器还被配置成利用所述处理器，使得所述设备至少执行基于所述轮廓边界，调整所述粗糙面部分割区域以获得精细面部分割区域。本专利技术的又一实施方式提供了一种设备。该设备包括检测装置，用于对图像执行面部检测。该设备还包括获取装置，用于获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界。进一步，该设备包括调整装置，用于基于所述轮廓边界，调整所述粗糙面部分割区域以获得精细面部分割区域。本专利技术的另外的实施方式提供了一种计算机程序产品。该计算机程序产品包括具有存储于其中的计算机可读程序代码部分的至少一个计算机可读存储介质，所述计算机可读程序代码部分用于执行根据本专利技术的实施方式的用于图像处理的方法。通过基于轮廓边界来调整粗糙面部分割区域，本专利技术的实施方式可以显著提高面部区域分割的精确性，从而为后续的面部图像处理提供了良好的基础。附图说明通过参照附图阅读以下所作的对非限制性实施例的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。在附图中，相同和相似的附图标记代表相同或相似的装置或方法步骤，其中：图1示例性示出了通过现有技术所获得的经粗糙面部区域分割后的图片；图2是示例性示出了根据本专利技术的实施方式的用于面部图像处理的方法的简化流程图；图3是示例性示出了根据本专利技术的实施方式的用于面部图像处理的方法的详细流程图；图4是示例性示出了根据本专利技术的实施方式的用于获得粗糙面部区域分割的操作示意图；图5a-5c是分别示例性示出了根据本专利技术的不同实施方式对图片进行精细处理以获得精细面部分割区域的示意图；图6是示例性示出了利用根据本专利技术的实施方式所获得的精细面部分割区域对面部执行白化处理的示意图；图7是示例性示出了利用根据本专利技术的实施方式所获得的精细面部分割区域对面部执行平滑处理的示意图；图8是结合具体图片处理过程来示例性示出了根据本专利技术实施方式的用于面部图像处理的整体过程的流程图；图9是示例性示出了能够实现本专利技术的实施方式的设备的框图；以及图10是示例性示出了能够实现本专利技术的实施方式的另一设备的框图。具体实施方式本专利技术的示例性实施方式提供了高效的面部区域分割的方法和设备，以及利用该方法和设备对得到的精细面部分割区域进行“美化”(包括白化和平滑)处理的方法和设备。为了获得精细面部分割区域，本专利技术的示例性实施方式提出了利用面部检测对图像中的面部首先执行粗糙分割，从而获得粗糙面部分割区域。接着，对图像中的面部进行处理以获得面部区域的轮廓边界。随后，将二者进行有效的结合以获得精细面部分割区域。在一些实施方式中，本专利技术提出以轮廓边界为基准在二维空间(横向或纵向)上来调整粗糙面部分割区域，以使得该粗糙面部分割区域填充轮廓边界以内的区域，从而获得精细面部分割区域。在另外一些实施方式中，本专利技术还提出当存在轮廓边界中断时，在中断区域间执行内插操作，从而得到精细面部分割区域。下面将结合附图来详细描述本专利技术的各个实施方式。图2是示例性示出根据本专利技术的实施方式的用于面部图像处理的方法200的简化流程图。如图2中所示，在步骤S202处，方法200对图像执行面部检测。接着，在步骤S204中，方法200基于所述面部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界。尽管未示出，在一个实施方式中，方法200利用至少一个面部的局部区域来建立肤色模型并且接着对该至少一个面部应用建立的肤色模型(例如图4中的图片P406所示出的模型)，从而获取该至少一个面部的粗糙面部分割区域。在另一个实施方式中，方法200使用小波变换(例如Haar小波卷积算法)来确定该轮廓边界。应该理解的是，上述的获取粗糙面部分割区域和面部轮廓的处理仅仅是示例性的和说明性的，本专利技术的实施方式并不限于这里所公开的具体处理方式。本领域技术人员根据本说明书的教导，可以采取其他合适的(现有或未来开发的)方法来获取粗糙面部分割区域和面部轮廓。在获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界后，方法200前进到步骤S206。在该步骤中，方法本文档来自技高网...

【技术保护点】
一种方法，包括：对图像执行面部检测；基于所述面部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界，其中所述面部的轮廓边界接近于或与实际面部轮廓重合；在横向或纵向上在预先设置的位置调整范围内搜索所述轮廓边界，以定位多个更新的轮廓边界点，其中所述预先设置的位置调整范围包括由所述粗糙面部分割区域的权重信息所确定的一个或多个搜索阈值；以及基于所述轮廓边界和所述多个更新的轮廓边界点，调整所述粗糙面部分割区域以获得精细面部分割区域。

【技术特征摘要】
1.一种方法，包括：对图像执行面部检测；基于所述面部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界，其中所述面部的轮廓边界接近于或与实际面部轮廓重合；在横向或纵向上在预先设置的位置调整范围内搜索所述轮廓边界，以定位多个更新的轮廓边界点，其中所述预先设置的位置调整范围包括由所述粗糙面部分割区域的权重信息所确定的一个或多个搜索阈值；以及基于所述轮廓边界和所述多个更新的轮廓边界点，调整所述粗糙面部分割区域以获得精细面部分割区域。2.根据权利要求1所述的方法，其中获取至少一个面部的粗糙面部分割区域包括：利用所述至少一个面部的局部区域来建立肤色模型；以及对所述至少一个面部应用所述肤色模型，以获取所述至少一个面部的粗糙面部分割区域。3.根据权利要求1所述的方法，其中利用小波变换来获取所述至少一个面部的轮廓边界。4.根据权利要求1所述的方法，其中基于所述轮廓边界，调整所述粗糙面部分割区域以获得精细面部分割区域包括：以所述轮廓边界为基准，沿所述横向或所述纵向上的至少一个方向来调整所述粗糙面部分割区域，使得所述粗糙面部分割区域填充整个轮廓。5.根据权利要求4所述的方法，其中调整所述粗糙面部分割区域包括：检测粗糙面部分割区域的边界像素点是否在所述预先设置的位置调整范围以内偏离所述轮廓边界；以及当检测到所述偏离位于所述位置调整范围以内时，将偏离的所述边界像素点调整到所述轮廓边界上与其在横向或纵向上对准的点。6.根据权利要求5所述的方法，进一步包括：检测所述边界像素点是否从所述轮廓边界向外突出而超出所述位置调整范围；以及当检测到所述突出超出所述位置调整范围时，去除所述粗糙面部分割区域上突出所述轮廓边界的部分。7.根据权利要求6所述的方法，进一步包括：检测所述轮廓边界是否存在中断；以及当检测到所述轮廓边界存在中断时，在中断的两个端点间执行内插操作。8.根据权利要求1所述的方法，进一步包括：确定所述精细面部分割区域内的所有像素点的灰度值；基于所述灰度值将所有像素点分成至少两类；以及以不同的等级来对每类像素点的灰度值进行调整，以实现对所述精细面部分割区域的白化处理。9.根据权利要求8所述的方法，其中基于所述灰度值将所有像素点分成至少两类包括：对所述精细面部分割区域内的所有像素点的灰度值进行统计；基于所述统计，确定针对灰度值的至少一个阈值；根据所述至少一个阈值将所有像素点划分为至少两类。10.根据权利要求9所述的方法，其中确定针对灰度值的至少一个阈值包括：对所有像素点的灰度值进行排序；按顺序选取预定数量的像素点；以及对所述选取的像素点的灰度值求平均以确定至少一个阈值。11.根据权利要求8所述的方法，进一步包括：对于每类像素点选择多个不同的等级来进行所述调整，以实现多个相应不同效果的白化处理。12.根据权利要求1或8所述的方法，进一步包括：确定所述精细面部分割区域内的每个像素点与其相邻区域内的各个相邻像素点间的灰度值差；将每个灰度值差与预定的阈值进行比较，以确定对于各个相邻像素点，所述每个像素点所具有的平滑权重，其中所述平滑权重大小与所述灰度值差成反比；以及基于所述各个相邻像素点的灰度值、所述平滑权重以及各个相邻像素点与所述每个像素点之间的空间距离，调整所述每个像素点的灰度值，以实现对所述精细面部分割区域的平滑处理。13.根据权利要求12所述的方法，其中所述预定的阈值通过以下操作来获得：计算所述精细面部分割区域内所有像素点的梯度值；对所有像素点的梯度值进行排序；按顺序选取预定数量的像素点；以及对所述选取的像素点的梯度值求平均，以获得所述预定的阈值。14.一种设备，包括：至少一个处理器以及包含计算机程序代码的至少一个存储器；所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备至少执行：对图像执行面部检测；基于所述面部检测，获取至少一个面部的粗糙面部分割区域和所述至少一个面部的轮廓边界，其中所述面部的轮廓边界接近于或与实际面部轮廓重合；在横向或纵向上在预先设置的位置调整范围内搜索所述轮廓边界，以定位多个更新的轮廓边界点，其中所述预先设置的位置调整范围包括由所述粗糙面部分割区域的权重信息所确定的一个或多个搜索阈值；以及基于所述轮廓边界和所述多个更新的轮廓边界点，调整所述粗糙面部分割区域以获得精细面部分割区域。15.根据权利要求14所述的设备，其中所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备至少执行：利用所述至少一个面部的局部区域来建立肤色模型；以及对所述至少一个面部应用所述肤色模型，以获取所述至少一个面部的粗糙面部分割区域。16.根据权利要求14所述的设备，其中利用小波变换来获取所述至少一个面部的轮廓边界。17.根据权利要求14所述的设备，其中所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备至少执行：以所述轮廓边界为基准，沿所述横向或所述纵向上的至少一个方向来调整所述粗糙面部分割区域，使得所述粗糙面部分割区域填充整个轮廓。18.根据权利要求17所述的设备，其中所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备至少执行：检测粗糙面部分割区域的边界像素点是否在所述预先设置的位置调整范围以内偏离所述轮廓边界；以及当检测到所述偏离位于所述位置调整范围以内时，将偏离的所述边界像素点调整到所述轮廓边界上与其在横向或纵向上对准的点。19.根据权利要求18所述的设备，其中所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备进一步执行：检测所述边界像素点是否从所述轮廓边界向外突出而超出所述位置调整范围；以及当检测到所述突出超出所述位置调整范围时，去除所述粗糙面部分割区域上突出所述轮廓边界的部分。20.根据权利要求19所述的设备，其中所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备进一步执行：检测所述轮廓边界是否存在中断；以及当检测到所述轮廓边界存在中断时，在中断的两个端点间执行内插操作。21.根据权利要求14所述的设备，其中所述处理器以及所述存储器被配置成利用所述处理器，使得所述设备进一步执行：确定所述精细面部分割区域内的所有像素点的灰度值；基于所述灰度值将所有像素点分成至少两类；以及以不同的等级来对每类像素点的灰度值进行调整，以实现对所述精细面部分割区域的白化处理。22.根据权利要求21所述的设备，其中所述处理器以及所述存储...

【专利技术属性】
技术研发人员：李江伟，汪孔桥，何燕，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：芬兰,FI