人脸检测中非特征区域图像处理的方法技术

一种图像处理技术领域人脸检测中非特征区域图像处理的方法。包括四个步骤：首先对人脸检测定位，然后调整人脸矩形框队列，选择人脸矩形框队列以待图像处理；进一步提取人脸轮廓，在人脸定位的基础上，利用几何活动轮廓模型提取人脸轮廓线，确定脸部区域；利用二值化图像处理法分离出脸部区域内的眼睛、鼻子、嘴巴等脸部特征，对脸部特征进行定位；对脸部非特征区域在脸部特征定位的基础上进行图像处理，去除脸部非特征区域脸部皮肤上的斑点、皱纹和瑕疵。本发明专利技术能快速检测和定位数码图像或视频中存在的多个人脸位置，可完整保留人脸图像的细节部分，达到了自动人脸美化的效果。

【技术实现步骤摘要】

本专利技术涉及的是一种图像处理
的方法，具体地说是一种人脸检测中非特 征区域图像处理的方法。
技术介绍
由于数码成像技术的快速发展，数码图像以及视频在日常工作和生活中越来越普 及。随着数码影像器材的成像分辨率的提高，图像以及视频可以非常清晰地显示人脸中的 所有细节信息，甚至包括一些斑点、皱纹等影响美观的因素。数码相片和视频不仅带来了拍 摄和保存的方便，还使图像以及视频的后期处理和修饰成为可能。人脸美化处理技术就是 在较完整地保留脸部细节，例如眉毛等细节部分、嘴巴的边缘等信息的前提下较好地去除 掉皮肤上的斑点、皱纹等不理想因素，达到人脸美化的效果。由于其在电视机、数码相机、摄 像机、手机、投影仪以及视频会议等多媒体系统中有广泛的应用，解决该技术难题的要求显 得越来越突出。最传统的方法如Photoshop工具，虽然可以理想地去除脸上的斑点和皱纹以达到 人脸美化的效果，但是需要手工圈定斑点和皱纹区域，而且实现步骤复杂。与此同时，越来 越多的研究人员开始专注于该方面的研究，目前已经有了一些不错的成果。例如柯达相机 已经使用了相应的技术来自动地处理人脸皮肤，达到美化人脸的效果，但是该系统对图像 的细节信息处理模糊的问题比较严重。另一个是Kevin提出的一个被命名为图像化妆系统 的自动人脸美化系统，该系统的主要目的是模拟Photoshop效果，使得图像在保留细节信 息的前提下达到平滑皮肤同时淡化斑点皱纹等不理想信息的效果。但是该系统每次只能对 单个人脸进行处理，而且为了使处理后的图像看起来自然，还保留了 一些眼角、鼻子和嘴角 等处的皱纹。最著名的例子即为H. Watabe提出的一个可以自动美化人脸图像的非线性滤 波器系统，该方法可以自动地去除脸部皮肤中的斑点、皱纹等不理想因素，尽可能多地保留 皮肤的细节信息，使得操作大大简化，达到了很好的普遍推广效果，现在已经应用于多媒体 远程会议等系统中。但仍然存在一些不足(1)由于直接对整幅图像进行处理，所以处理时 间较长；(2)对脸部皮肤中大片斑点及较深的皱纹的处理效果不理想。经对现有技术文献的检索发现，美国专利申请号US20090512843 20090730，专 利号:US2010/0026831 Al.专利技术名称=Automatic face and skin beautification using facedetection (基于人脸检测的自动人脸和皮肤美化)。该技术首先通过检测图像中的 人脸位置得到人脸图像；接着将该人脸图像划分成眼睛、嘴、脸颊等多个子区域，然后对各 个子区域的亮度分量分别采用不同的平滑核做局部平滑处理；最后得到一个增强的人脸图 像。该方法的不足之处在于(1)利用局部亮度平滑和模糊来去除脸上的斑点等会造成图 像的模糊，降低图像的质量；(2)对脸部特征区域划分太过粗糙，如用矩形区域来表示眼睛 和嘴等子区域，造成眼角、嘴角等皱纹处理得不彻底。
技术实现思路
本专利技术针对现有技术的不足和缺陷，提供一种人脸检测中非特征区域图像处理的 方法。它不仅能快速检测和定位数码图像或视频中存在的多个人脸位置，并通过提取人脸 轮廓线进一步确定脸部区域，然后逐个去除人脸图像中脸部皮肤上的斑点、皱纹，而且能较 好地调节皮肤的光滑度，同时可以完整地保留人脸图像的细节部分，如眉毛的细节，以及嘴 唇边缘纹理，达到自动人脸美化的效果。本专利技术是通过以下技术方案实现的本专利技术包括四个步骤(1)首先对人脸检测定位，然后调整人脸矩形框队列，选择人脸矩形框队列以待图 像处理；(2)进一步提取人脸轮廓，在人脸定位的基础上，利用几何活动轮廓模型提取人脸 轮廓线，确定脸部区域。(3)利用二值化图像处理法分离出脸部区域内的眼睛、鼻子、嘴巴等脸部特征，对 脸部特征进行定位。(4)对脸部非特征区域在脸部特征定位的基础上进行图像处理，去除脸部非特征 区域皮肤上的斑点、皱纹和瑕疵。步骤(1)中所述的检测定位是通过人脸分类器检测人脸区域，将检测出的若干人 脸位置保存到人脸矩形框队列；若未检出人脸，则进行光线补偿，再利用肤色模型重新检测 人脸区域，将检测出的人脸位置保存到人脸矩形框队列中。调整检测出所述的人脸矩形框队列，以及需要处理的人脸矩形框队列，考虑到人 脸矩形框覆盖了大部分的人脸，但是还是有下巴等部分区域没有包含进去，所以为了对整 个人脸进行完整地人脸美化处理，需要对人脸矩形框进行上下左右适当的扩展，分别扩展 5%左右比较合适；与此同时，考虑到图像中存在的人脸如果太小，那么就失去了美化处理 的必要性，因此如果人脸矩形框的面积小于图像面积的六十四分之一，就将它们从人脸矩 形框队列中去除不作美化处理。本专利技术首先检测图像或视频中存在的若干人脸位置，提高了图像处理的针对性， 缩小图像处理的范围，在节省处理时间的同时完好地保留了其他背景信息。其中人脸分类 器是采用机器学习的方法，在矩形特征的基础上，对大量的人脸灰度图进行训练而得到的。 这种人脸检测图像处理法的稳定性好，与其他的人脸检测图像处理法相比速度较快。上述 人脸分类器处理的是正面人脸图像，对于侧面人脸图像，可以通过基于YCbCr色彩空间的 肤色模型进行人脸区域检测，来避免侧面人脸漏检的情况。但是肤色特征受光照条件的影 响较大，在肤色判定前对图像或视频做光线补偿处理，可以有效地降低肤色判定中的漏检 率。考虑到图像中存在的人脸如果太小，那么就失去了图像处理的必要性。本专利技术对于检 测得到的人脸矩形框队列进行适当的调整，去除太小的矩形框，以最终确定需要图像处理 的人脸矩形框队列。本专利技术为了精确地定位人脸的位置，在用人脸矩形框定位人脸的基础上，进一步 提取人脸轮廓线来确定脸部区域。由于人脸形状的多样性和复杂性，在使用刚性模型提取 轮廓时，遇到了很大的困难，而常规的边缘检测得到的边缘又不连续，因此活动轮廓模型在 解决人脸轮廓提取问题上具有很大的优势。本专利技术步骤(2)中所述的采用提取人脸轮廓的方法，首先将人脸形状的椭圆性约 束作为算子嵌入到几何活动轮廓模型中，并利用几何活动轮廓模型提取任意轮廓的优势来 快速抽取出图像中类似椭圆的目标边缘；然后根据图像中人脸的先验知识，通过对检测得 到的椭圆目标进一步验证来找到最终的人脸轮廓。本专利技术为了在人脸图像处理的同时尽可能的保留图像的细节信息不丢失，需要将 人脸图像分为特征区域和非特征区域。针对该过程对图像中的特征区域定位精度要求不是很 高，在脸部区域内利用二值化图像处理法分离出人脸图像中的眼睛、鼻子、嘴巴等脸部特征。本专利技术采用局部自适应二值化分割图像处理法，这是在许多图像处理法中所有阈 值分割图像处理法中效果最好的，而且对于非均勻光线照射的图像有很好的分割效果。通 过二值化分割，图像的特征区域均可以比较粗略地区分出来，但是由于人脸图像中的斑点、 皱纹等一些皮肤细节部分的影响，二值化有时会出现一些额外的小的区域，可通过设置阈 值来剔除这些干扰区域，然后通过腐蚀膨胀图像处理法基本标定出脸部特征区域，为后续 的图像处理奠定了较好的基础。在脸部特征定位的基础上，对脸部非特征区域图像处理的目标是调整斑点皱纹区 域的色度值，使其恢复正常的色度值。在人脸的灰度图像中，其皮肤的大部分区域比较平 坦，仅在存在斑点皱纹区域的灰度值会有突变，本文档来自技高网...

【技术保护点】
一种人脸检测中非特征区域图像处理的方法，其特征在于，包括四个步骤：（１）首先对人脸检测定位，然后调整人脸矩形框队列，选择人脸矩形框队列以待图像处理；（２）进一步提取人脸轮廓，在人脸定位的基础上，利用几何活动轮廓模型提取人脸轮廓线，确定脸部区域；（３）利用二值化图像处理法分离出脸部区域内的眼睛、鼻子、嘴巴等脸部特征，对脸部特征进行定位；（４）对脸部非特征区域在脸部特征定位的基础上进行图像处理，去除脸部非特征区域皮肤上的斑点、皱纹和瑕疵。

【技术特征摘要】
一种人脸检测中非特征区域图像处理的方法，其特征在于，包括四个步骤(1)首先对人脸检测定位，然后调整人脸矩形框队列，选择人脸矩形框队列以待图像处理；(2)进一步提取人脸轮廓，在人脸定位的基础上，利用几何活动轮廓模型提取人脸轮廓线，确定脸部区域；(3)利用二值化图像处理法分离出脸部区域内的眼睛、鼻子、嘴巴等脸部特征，对脸部特征进行定位；(4)对脸部非特征区域在脸部特征定位的基础上进行图像处理，去除脸部非特征区域皮肤上的斑点、皱纹和瑕疵。2.根据权利要求1所述的人脸检测中非特征区域图像处理的方法，其特征是，步骤(1) 中所述的检测定位是通过人脸分类器检测人脸区域，将检测出的若干人脸位置保存到人脸 矩形框队列；若未检出人脸，则进行光线补偿，再利用肤色模型重新检测人脸区域，将检测 出的人脸位置保存到人脸矩形框队列。3.根据权利要求1所述的人脸检测中非特征区域图像处理的方法，其特征是，所述的 检测人脸，在检测前，首先要确认图像或视频中的人脸方向，如果人脸横向则需要手工或自 动实施旋转校正操作，保持人脸处于竖直方向。4.根据权利要求1所述的人脸检测中非特征区域图像处理的方法，其特征是，调整检 测出所述的人脸矩形框队列，以及需要处理的人脸矩形框队列，对人脸矩形框进行上下左 右的扩展，分别扩展5%左右；与此同时，如果人脸矩形...

【专利技术属性】
技术研发人员：赵群飞，卢芳芳，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：31[中国|上海]