使用脸部检测的自动脸部和皮肤修饰制造技术

本公开的实施例涉及使用脸部检测的自动脸部和皮肤修饰。标识出脸部图像中要增强的子区域，其中该增强通过向与脸部图像的子区域对应的亮度数据应用局部化的平滑核来实现。生成包括脸部的增强版本的增强脸部图像，该脸部的增强版本包括某些原始像素和与脸部的一个或多个增强子区域对应的像素。

Automatic face and skin modifications using face detection

Embodiments of the present disclosure relate to automatic face and skin modifications using face detection. A sub region to be enhanced in the face image is identified, wherein the enhancement is achieved by applying localized smoothing kernels to the luminance data corresponding to the sub regions of the face image. An enhanced facial image including an enhanced version of the face is generated, and the enhanced version of the face includes some primitive pixels and pixels corresponding to one or more enhancer regions of the face.

【技术实现步骤摘要】
使用脸部检测的自动脸部和皮肤修饰相关申请引用本申请是国际申请号为PCT/EP2009/005461、国际申请日为2009年7月28日、优先权日2008年7月30日、进入中国国家阶段日期为2010年11月16日、中国国家申请号为200980117715.2的专利技术专利申请的分案申请。
本申请涉及图像处理，具体地涉及在脸部图像中检测的子区域的图像处理。
技术介绍
Proctor和Gamble的美国专利6,571,003提到，在脸部的子区域(例如，脸颊)或由地标点(诸如，拐角或鼻部、眼部或口部)限定的区域中找出并修补脸部缺陷(诸如，斑点、皱纹、毛孔和纹理)。该技术涉及利用蒙板(mask)来替换所限定的区域。P&G专利公开了电子式地改变颜色。P&G专利还提到检测和修正照明梯度和照明变化。在存在可能引起脸部皮肤上的光泽或较亮区域的方向性照明的情况下，可能出现这些照明梯度或变化。转让给本申请受让人的美国专利申请序列号12/038,147、61/106,910和61/221,425描述了使用Viola-Jones类型分类器级联来检测方向性照明的技术。然而，除了结合脸部追踪技术一起使用这种情况外，确定和修正照明梯度通常会涉及全局分析，其中脸部追踪技术诸如是在美国专利7,403,643和7,315,631以及美国申请序列号11/766,674(公开为2008/0037840)和12/063,089、61/091,700、61/120,289和12/479,593中描述的技术，这些专利全部转让给本专利技术的受让人。期望具有这样的技术，其针对某些应用和/或在某些情况、环境或约束下，使用局部模糊核(kernel)，而非使用涉及较低效的全局分析的技术。Kodak的专利7,212,657在图13-图14中示出了生成阴影/峰值图像(基于生成亮度图像和平均亮度图像)、模糊图像和混合图像。Kodak专利公开了通过从亮度图像中减去平均亮度图像来生成阴影/醒目显示强度图像。而且，在图16中，Kodak专利示出了元素1530，其被标记为“使用峰值/谷值图和颜色信息来生成亮度和色度缩放因子”，以及元素1540，其被标记为“修改蒙板区域中像素的亮度和色度”。Kodak专利中描述了脸部检测，但未描述脸部追踪。与P&G技术类似，Kodak技术涉及全局图像操纵，即，“亮度图像”并未被指示为包括少于整个图像的任何事物，“模糊图像”涉及向整个图像应用核，以及“混合图像”涉及全局图像的三个拷贝。“模糊图像”涉及色度和亮度数据，这意味着为了操纵图像需要使用大量的存储器，尤其在应用涉及资源受限的嵌入式系统的情况下更是如此。关于亮度和色度缩放因子，即使其涉及局部化的缩放因子，Kodak专利中也未将其描述为是为了应用于少于整个图像的任何事物而生成的。转让给本申请受让人的美国专利申请序列号11/856,721和12/330,719描述了这样的技术，其可以在图像的相关区域上作为单个类光栅扫描而应用，而不用涉及全局分析或者确定全局特性(诸如，平均亮度图像或者阴影或模糊图像)。与P&G专利或Kodak专利相比，这种通过了预定区域的单次通过扫描为嵌入式系统(诸如，数码相机)提供了更高效和更适合的技术。HewlettPackard(HP，惠普)公开的专利申请2002/0081003提到喷色法，其通常涉及在图像的样本(例如，可能包括瑕疵或皱纹)上涂覆颜色。HP公开还提到在人脸图像的皱纹上进行模糊化，并且再一次具体描述了对定义了皱纹和周围皮肤的颜色值进行模糊化或混合。HP应用提到了改变亮度以使脸部特征变亮或变暗，诸如使脸部特征变阴暗，并且继续描述了改变与该特征相关联的皮肤颜色值，以便使该特征变阴暗。HP专利进一步公开了通过模糊颜色值来模糊前额和/或脸颊和/或锐化发线。在HP专利中并未描述在多张图像(即，全分辨率或低分辨率和/或子样本参考图像(诸如，在捕获主全分辨率图像之前、期间或之后，利用单独的成像系统捕获的预览、后览(postview)和/或参考图像))上的脸部检测和脸部追踪，也没有针对平滑或模糊数字脸部图像的亮度数据给出任何建议。肖像是数码照片中最流行的场景之一。肖像图像上的图像润饰是图像处理系统的期望组件。用户可能利用传统软件花费大量时间来隐藏皱纹和瑕疵以使肖像更加漂亮。期望提供创新性的自动肖像场景增强器，其适用于嵌入式设备，诸如，数码照相机、相机电话或其他手持式或以其他方式可便携的具有图像获取组件(例如，镜头、图像感测器)和处理器的消费类电子产品。
技术实现思路
提供了一种使用处理器来增强数字图像内脸部外观的方法。获取包括脸部的场景的图像。标识该数字图像内的脸部。在脸部中标识要利用局部化的亮度平滑进行增强的一个或多个子区域。向在脸部内标识的一个或多个子区域中的一个应用一个或多个局部化的亮度平滑核中的每一个，以产生脸部的一个或多个增强子区域。向在脸部内标识的一个或多个子区域的亮度数据应用一个或多个局部化的平滑核。生成增强图像，其包括脸部的增强版本，该脸部的增强版本包括某些原始像素和与脸部的一个或多个增强子区域对应的像素。显示、传输、传达和/或数字式存储和/或以其他方式输出增强图像和/或进一步处理的版本。局部化的亮度平滑可以包括模糊亮度数据或针对其取平均，或者其组合。可以向一个或多个子区域应用一个或多个局部化的颜色平滑核。已修正图像的一个或多个增强子区域还可以包括至少通过局部化的颜色平滑从脸部的原始像素或以其他方式处理的像素修改而来的像素。可以向一个或多个子区域应用噪声减小或增强。已修正图像的一个或多个增强子区域还可以包括至少通过局部化的噪声减小或增强从脸部的原始像素或以其他方式处理的像素修改而来的像素。可以确定脸部的一个或多个子区域中的某些非肤色像素为不具有阈值肤色。可以移除、替换这些非肤色像素、减小其强度，和/或修改其颜色。一个或多个增强子区域的增强像素可以包括增强的强度，其包括原始像素强度与一个或多个原始的和/或增强的子区域中局部平均强度之间关系的一个或多个函数。可以检测脸部内一个或多个口部和/或眼部区域。可以标识和增强一个或多个口部和/或眼部区域内一个或多个子区域的自然颜色。这些子区域可以包括一个或多个牙齿、嘴唇、舌头、眼白、眉毛、虹膜、睫毛和/或瞳孔。还提供了一种数字图像获取设备，其包括镜头、图像感测器、处理器和处理器可读存储器，其上实施有用于对处理器进行编程以执行在此描述的任一方法的处理器可读代码，该代码尤其用于增强数字图像中脸部或其他特征的外观。还提供了一个或多个处理器可读介质，其中实施有用于对一个或多个处理器进行编程以执行在此描述的任一方法的代码。在某些实施方式中，将使用预览、后览或其他参考图像的脸部追踪与脸部修饰结合在一起，其中这些图像是使用同一个或单独的成像系统获取的以作为主全分辨率图像。这涉及平滑和/或模糊脸部特征或脸部区域、皱纹/瑕疵移除，或其他数字美容调整。在某些实施方式中，将亮度通道用来平滑不好看的特征，而在这些实施方式的较小子集中，仅将亮度通道用于平滑，而不使用任何颜色通道。除了亮度通道之外，其他实施方式还使用一个或多个颜色通道，并且这些实施方式可以使用脸部追踪，或者也可以不使用。在某些实施方式中，基于特定像素本文档来自技高网...

【技术保护点】
一种增强数字图像内的脸部外观的方法，包括使用处理器来：获取包括脸部的场景的数字图像，其包括使用镜头和图像感测器来捕获所述图像，或者在由包括镜头和图像感测器的设备捕获所述图像之后接收所述图像，或者其组合；标识所述数字图像内的所述脸部；将所述脸部的肤色部分与包括一只或两只眼睛或口部或其组合的脸部特征相分割，所述脸部的肤色部分包括以下的一个或多个：前额、一个或两个脸颊、一个或两个后颊区域，一侧或两侧鼻翼、下颚或其组合；其中所述肤色部分包括所述脸部的一个或多个子区域；确定所述一个或多个子区域中不包括阈值肤色的某些非肤色像素，以及移除、替换所述某些非肤色像素，或者减小其强度，或者修改其颜色，或者这些的组合；对每个像素的强度应用修正，其中增强的强度＝α×局部平均强度+(1‑α)×原始强度，并且α表示针对每个像素所确定的权重，所述权重描述每个像素将接收到的修正程度；在所述脸部的所述肤色部分中，标识一个或多个瑕疵区域，其在亮度上与非瑕疵肤色部分之间的差异至少是一阈值量；平滑所述一个或多个瑕疵区域的亮度数据，以生成经过平滑的亮度数据；生成包括所述脸部的增强版本的增强图像，在所述脸部的增强版本中，所述一个或多个瑕疵区域的原始亮度数据由所述经过平滑的亮度数据所替换，并与原始非瑕疵肤色部分相结合；其中利用所述经过平滑的亮度数据来替换所述一个或多个瑕疵区域的所述原始亮度数据产生一个或多个增强子区域；以及显示、传输、传送或数字式存储或以其他方式输出所述增强的图像或进一步处理的版本，或者其组合。...

【技术特征摘要】
2008.07.30 US 61/084,9421.一种增强数字图像内的脸部外观的方法，包括使用处理器来：获取包括脸部的场景的数字图像，其包括使用镜头和图像感测器来捕获所述图像，或者在由包括镜头和图像感测器的设备捕获所述图像之后接收所述图像，或者其组合；标识所述数字图像内的所述脸部；将所述脸部的肤色部分与包括一只或两只眼睛或口部或其组合的脸部特征相分割，所述脸部的肤色部分包括以下的一个或多个：前额、一个或两个脸颊、一个或两个后颊区域，一侧或两侧鼻翼、下颚或其组合；其中所述肤色部分包括所述脸部的一个或多个子区域；确定所述一个或多个子区域中不包括阈值肤色的某些非肤色像素，以及移除、替换所述某些非肤色像素，或者减小其强度，或者修改其颜色，或者这些的组合；对每个像素的强度应用修正，其中增强的强度＝α×局部平均强度+(1-α)×原始强度，并且α表示针对每个像素所确定的权重，所述权重描述每个像素将接收到的修正程度；在所述脸部的所述肤色部分中，标识一个或多个瑕疵区域，其在亮度上与非瑕疵肤色部分之间的差异至少是一阈值量；平滑所述一个或多个瑕疵区域的亮度数据，以生成经过平滑的亮度数据；生成包括所述脸部的增强版本的增强图像，在所述脸部的增强版本中，所述一个或多个瑕疵区域的原始亮度数据由所述经过平滑的亮度数据所替换，并与原始非瑕疵肤色部分相结合；其中利用所述经过平滑的亮度数据来替换所述一个或多个瑕疵区域的所述原始亮度数据产生一个或多个增强子区域；以及显示、传输、传送或数字式存储或以其他方式输出所述增强的图像或进一步处理的版本，或者其组合。2.如权利要求1所述的方法，其中局部化的亮度平滑包括模糊亮度数据或针对其取平均，或者其组合。3.如权利要求1所述的方法，进一步包括：向所述一个或多个子区域应用一个或多个局部化的颜色平滑核，以及其中已增强图像的一个或多个增强子区域进一步包括至少通过局部化的颜色平滑而从所述脸部的原始像素修改而来的像素。4.如权利要求1所述的方法，进一步包括：向所述一个或多个子区域应用噪声减小或增强或者二者，并且其中已修正图像的一个或多个增强子区域进一步包括至少通过局部化的噪声减小或增强或者二者而从所述脸部的原始像素修改而来的像素。5.如权利要求1所述的方法，其中所述一个或多个增强子区域的增强像素包括增强的强度，其包括原始像素强度与所述一个或多个原始的或增强的子区域中局部平均强度之间关系的一个或多个函数，或其组合。6.如权利要求1所述的方法，进一步包括：检测所述脸部内的一个或多个口部或眼部区域或者其组合，以及标识和增强所述一个或多个口部或眼部区域内一个或多个子区域的自然颜色，所述一个或多个子区域包括一个或多个牙齿、嘴唇、舌头、眼白、眉毛、虹膜、睫毛或瞳孔，或其组合。7.一种增强数字图像内的脸部外观的方法，包括使用处理器来：在相机内生成、捕获或以其他方式在相机内获得包括脸部的一个或多个相对低分辨率图像的集合；在所述一个或多个相对低分辨率图像中标识所述脸部；将所述脸部的肤色部分与包括一只或两只眼睛或口部或其组合的脸部特征相...

【专利技术属性】
技术研发人员：M·希乌克，A·卡帕塔，A·波索辛，C·弗罗雷亚，P·科尔科兰，V·莫卡努，
申请(专利权)人：快图有限公司，
类型：发明
国别省市：爱尔兰,IE