人脸图像处理方法及装置、可读存储介质制造方法及图纸

技术编号:23893738 阅读:31 留言:0更新日期:2020-04-22 07:33
一种人脸图像处理方法及装置、可读存储介质,所述人脸图像处理方法包括:对图像进行人脸识别,确定所述图像中的人脸图像;根据所述人脸图像,计算肤色概率模板;对所述人脸图像进行高反差保留处理,使用阈值进行二值化,得到斑点的二值模板;根据所述肤色概率模板和所述斑点的二值模板,确定需要祛除的斑点区域;通过由外往里的填充方式祛除所述需要祛除的斑点区域。采用上述方案可以快速便捷地祛除人脸图像中的斑点。

Face image processing method and device, readable storage medium

【技术实现步骤摘要】
人脸图像处理方法及装置、可读存储介质
本专利技术属于图像处理
,特别涉及一种人脸图像处理方法及装置、可读存储介质。
技术介绍
随着人们生活质量的提高以及各类社交平台的出现,大家越来越关注自己的穿着和样貌。便携移动设备(例如智能手机)的出现更是让自拍、秀图等成为一种生活时尚。通常来说,用户自拍后需要对图片进行后期处理等调整处理,特别是针对人脸图像的拍摄。然而,脸上的斑点(例如痣、痤疮、伤口等)会影响美观,通常是用户不想展现的元素。目前有部分软件能够提供祛斑的功能,同时也存在一些问题:1)自动化程度不够,需要用户手动框选斑点,工作量大;2)斑点漏检、误检严重,导致后期祛斑效果不理想;3)斑点填充痕迹明显,或使用泊松融合等复杂算法,时效性差。
技术实现思路
本专利技术实施例解决的是如何快速便捷地祛除人脸图像中的斑点。为解决上述技术问题,本专利技术实施例提供一种人脸图像处理方法,人脸图像处理方法包括:对图像进行人脸识别,确定所述图像中的人脸图像;根据所述人脸图像,计算肤色概率模板;对所述人脸图像进行高反差保留处理,使用阈值进行二值化,得到斑点的二值模板;根据所述肤色概率模板和所述斑点的二值模板,确定需要祛除的斑点区域;通过由外往里的填充方式祛除所述需要祛除的斑点区域。可选的,在确定所述图像中的人脸图像之后,还包括:识别所述人脸图像中眼睛、鼻子和嘴唇的位置;根据所述人脸图像中眼睛、鼻子和嘴唇的位置,确定所述人脸图像中的保护区域。可选的,所述根据所述人脸图像中眼睛和嘴唇的位置,确定所述人脸图像中的保护区域,包括:采用如下公式分别计算所述人脸图像中的保护区域:其中,(Xlel,Ylel)为左眼的左眼角坐标,(Xler,Yler)为左眼的右眼角坐标,elDist为左眼的宽度,(Xrel,Yrel)为右眼的左眼角坐标,(Xrer,Yrer)为右眼的右眼角坐标,erDist为右眼的宽度,(Xml,Yml)为嘴唇的左嘴角坐标,(Xmr,Ymr)为嘴唇的右嘴角坐标,mDist为嘴唇的宽度,Rel为左眼的保护区域,(Xel,Yel)为左眼的保护区域左上角的坐标,Wel为左眼保护区域的宽度,Hel为左眼保护区域的高度,Rer为右眼的保护区域,(Xer,Yer)为右眼保护区域左上角的坐标,Wer为右眼保护区域的宽度,Her为右眼保护区域的高度,Rm为嘴唇的保护区域,(Xm,Ym)为嘴唇保护区域左上角的坐标,Wm为嘴唇保护区域的宽度,Hm为嘴唇保护区域的高度。可选的,所述根据所述人脸图像,计算肤色概率模板,包括:根据所述人脸图像中眼睛和嘴唇的位置,选取眼睛和嘴唇之间的部分皮肤区域图像;根据所述眼睛和所述嘴唇之间的部分皮肤区域图像,得到所述部分皮肤区域内图像对应的肤色均值和标准差;根据所述部分皮肤区域图像对应的肤色均值和标准差,得到所述肤色概率模板。可选的,得到所述肤色概率模板后,还包括:选取所述眼睛和嘴唇之间的其他部分皮肤区域图像,得到所述其他部分皮肤区域内图像对应的肤色均值和标准差;根据其他部分皮肤区域内图像对应的肤色均值和标准差,设置肤色均值阈值和肤色标准差阈值;根据所述肤色均值阈值和肤色标准差阈值,对所述肤色概率模板进行阈值限定,得到阈值限定后的肤色概率模板。可选的,所述对所述人脸图像进行高反差保留处理,使用阈值进行二值化,得到斑点的二值模板,包括:获取所述人脸图像的YUV数据;根据所述人脸图像的YUV数据,对所述人脸图像的YUV数据的Y通道进行均值滤波处理;对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。可选的,所述根据所述人脸图像的YUV数据,对所述人脸图像的YUV数据的Y通道进行均值滤波处理,包括:采用如下公式对所述人脸图像的YUV数据的Y通道进行均值滤波处理:其中,N=(2*Rblur+1)2,Rblur=Max(5,emDist/18),emDist为两眼中心到嘴唇中心的欧式距离,Rblur为均值滤波半径,N为均值滤波核的像素个数,Yi为Y通道下所述人脸图像的像素值,imgblur为均值滤波后的坐标点。可选的,所述根据所述肤色概率模板和所述斑点的二值模板,确定需要祛除的斑点区域,包括:确定斑点尺寸阈值;根据所述斑点的二值模板,计算每个斑点区域的肤色概率均值;根据所述人脸图像中的保护区域,确定除保护区域之外的其他区域对应的需要祛除的斑点区域。可选的,所述确定斑点尺寸阈值,包括:采用如下公式计算所述斑点尺寸阈值:blemishthr=emDist2/180;其中,blemishthr为斑点尺寸阈值,emDist为两眼中心到嘴唇中心的欧式距离。可选的,所述根据所述斑点的二值模板,计算每个斑点区域的肤色概率均值,包括:采用如下公式计算所述每个斑点区域的肤色概率均值:其中,skinmean为所述每个斑点区域的肤色概率均值,imgdiff为所述斑点的二值模板,Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值,M为所述斑点区域中连通像素点数量。可选的,所述根据所述人脸图像中的保护区域,确定除保护区域之外的其他区域对应的需要祛除的斑点区域,包括:确定所述斑点区域为需要祛除的斑点区域,所述斑点区域需满足以下全部条件:所述斑点区域中连通像素点数量超过所述斑点尺寸阈值;所述斑点区域的肤色概率均值小于预设的概率均值;所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离;所述斑点区域不在所述人脸图像中的保护区域。可选的,所述通过由外往里的填充方式祛除所述需要祛除的斑点区域,包括:获取所述人脸图像的YUV数据;将所述需要祛除的斑点区域扩充;根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值,对所述人脸图像的YUV三通道进行斑点填充。可选的,所述将所述需要祛除的斑点区域扩充,包括:采用形态学膨胀处理将所述需要祛除的斑点区域扩充。可选的,所述根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值,对所述人脸图像的YUV三通道进行斑点区域填充,包括:采用如下公式分别对所述人脸图像的YUV三通道进行斑点区域填充:其中,当斑点区域尺寸超过斑点尺寸阈值的二分之一,并且填充的是斑点区域边缘时,将所述斑点区域向外扩展3个像素点进行填充;当斑点区域尺寸超过斑点尺寸阈值的二分之一,并且填充的不是斑点区域边缘时,将所述斑点区域向外扩展2个像素点进行填充;当斑点区域尺寸小于斑点尺寸阈值的二分之一,并且填充的是斑点区域边缘时,将所述斑点区域向外扩展2个像素点进行填充;当斑点区域尺寸小于斑点尺寸阈值的二分之一,并且填充的不是斑点区域边缘时,将所述斑点区域向外扩展1个像素点进行填充;K为在当前填充半径内,所述斑点区域被填充的像素点和非斑点区域的像素点之和,imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据,yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据。为解决上述技术问题,本专利技术实施例还公开了一种人脸图像处理装置,人脸图像处理装置包括:识别单元,用于对图像进行人脸识别,确定所述图像中的本文档来自技高网...

【技术保护点】
1.一种人脸图像处理方法,其特征在于,包括:/n对图像进行人脸识别,确定所述图像中的人脸图像;/n根据所述人脸图像,计算肤色概率模板;/n对所述人脸图像进行高反差保留处理,使用阈值进行二值化,得到斑点的二值模板;/n根据所述肤色概率模板和所述斑点的二值模板,确定需要祛除的斑点区域;通过由外往里的填充方式祛除所述需要祛除的斑点区域。/n

【技术特征摘要】
1.一种人脸图像处理方法,其特征在于,包括:
对图像进行人脸识别,确定所述图像中的人脸图像;
根据所述人脸图像,计算肤色概率模板;
对所述人脸图像进行高反差保留处理,使用阈值进行二值化,得到斑点的二值模板;
根据所述肤色概率模板和所述斑点的二值模板,确定需要祛除的斑点区域;通过由外往里的填充方式祛除所述需要祛除的斑点区域。


2.如权利要求1所述的人脸图像处理方法,其特征在于,在确定所述图像中的人脸图像之后,还包括:
识别所述人脸图像中眼睛、鼻子和嘴唇的位置;
根据所述人脸图像中眼睛、鼻子和嘴唇的位置,确定所述人脸图像中的保护区域。


3.如权利要求2所述的人脸图像处理方法,其特征在于,所述根据所述人脸图像中眼睛和嘴唇的位置,确定所述人脸图像中的保护区域,包括:
采用如下公式分别计算所述人脸图像中的保护区域:









其中,(Xlel,Ylel)为左眼的左眼角坐标,(Xler,Yler)为左眼的右眼角坐标,elDist为左眼的宽度,(Xrel,Yrel)为右眼的左眼角坐标,(Xrer,Yrer)为右眼的右眼角坐标,erDist为右眼的宽度,(Xml,Yml)为嘴唇的左嘴角坐标,(Xmr,Ymr)为嘴唇的右嘴角坐标,mDist为嘴唇的宽度,Rel为左眼的保护区域,(Xel,Yel)为左眼的保护区域左上角的坐标,Wel为左眼保护区域的宽度,Hel为左眼保护区域的高度,Rer为右眼的保护区域,(Xer,Yer)为右眼保护区域左上角的坐标,Wer为右眼保护区域的宽度,Her为右眼保护区域的高度,Rm为嘴唇的保护区域,(Xm,Ym)为嘴唇保护区域左上角的坐标,Wm为嘴唇保护区域的宽度,Hm为嘴唇保护区域的高度。


4.如权利要求2所述的人脸图像处理方法,其特征在于,所述根据所述人脸图像,计算肤色概率模板,包括:
根据所述人脸图像中眼睛和嘴唇的位置,选取眼睛和嘴唇之间的部分皮肤区域图像;
根据所述眼睛和所述嘴唇之间的部分皮肤区域图像,得到所述部分皮肤区域内图像对应的肤色均值和标准差;
根据所述部分皮肤区域图像对应的肤色均值和标准差,得到所述肤色概率模板。


5.如权利要求4所述的人脸图像处理方法,其特征在于,得到所述肤色概率模板后,还包括:
选取所述眼睛和嘴唇之间的其他部分皮肤区域图像,得到所述其他部分皮肤区域内图像对应的肤色均值和标准差;
根据其他部分皮肤区域内图像对应的肤色均值和标准差,设置肤色均值阈值和肤色标准差阈值;
根据所述肤色均值阈值和肤色标准差阈值,对所述肤色概率模板进行阈值限定,得到阈值限定后的肤色概率模板。


6.如权利要求2所述的人脸图像处理方法,其特征在于,所述对所述人脸图像进行高反差保留处理,使用阈值进行二值化,得到斑点的二值模板,包括:获取所述人脸图像的YUV数据;
根据所述人脸图像的YUV数据,对所述人脸图像的YUV数据的Y通道进行均值滤波处理;
对所述均值滤波处理后的Y通道人脸图像进行高反差保留处理。


7.如权利要求6所述的人脸图像处理方法,其特征在于,所述根据所述人脸图像的YUV数据,对所述人脸图像的YUV数据的Y通道进行均值滤波处理,包括:
采用如下公式对所述人脸图像的YUV数据的Y通道进行均值滤波处理:



其中,N=(2*Rblur+1)2,Rblur=Max(5,emDist/18),emDist为两眼中心到嘴唇中心的欧式距离,Rblur为均值滤波半径,N为均值滤波核的像素个数,Yi为Y通道下所述人脸图像的像素值,imgblur为均值滤波后的坐标点。


8.如权利要求2所述的人脸图像处理方法,其特征在于,所述根据所述肤色概率模板和所述斑点的二值模板,确定需要祛除的斑点区域,包括:
确定斑点尺寸阈值;
根据所述斑点的二值模板,计算每个斑点区域的肤色概率均值;
根据所述人脸图像中的保护区域,确定除保护区域之外的其他区域对应的需要祛除的斑点区域。


9.如权利要求8所述的人脸图像处理方法,其特征在于,所述确定斑点尺寸阈值,包括:
采用如下公式计算所述斑点尺寸阈值:
blemishthr=emDist2/180;
其中,blemishthr为斑点尺寸阈值,emDist为两眼中心到嘴唇中心的欧式距离。


10.如权利要求8所述的人脸图像处理方法,其特征在于,所述根据所述斑点的二值模板,计算每个斑点区域的肤色概率均值,包括:
采用如下公式计算所述每个斑点区域的肤色概率均值:



其中,skinmean为所述每个斑点区域的肤色概率均值,imgdiff为所述斑点的二值模板,Pxy为所述斑点的二值模板中属于同一斑点区域的像素点的肤色概率值,M为所述斑点区域中连通像素点数量。


11.如权利要求8所述的人脸图像处理方法,其特征在于,所述根据所述人脸图像中的保护区域,确定除保护区域之外的其他区域对应的需要祛除的斑点区域,包括:
确定所述斑点区域为需要祛除的斑点区域,所述斑点区域需满足以下全部条件:
所述斑点区域中连通像素点数量超过所述斑点尺寸阈值;
所述斑点区域的肤色概率均值小于预设的概率均值;
所述斑点区域与鼻尖的距离小于两眼中心到嘴唇中心的欧式距离;
所述斑点区域不在所述人脸图像中的保护区域。


12.如权利要求8所述的人脸图像处理方法,其特征在于,所述通过由外往里的填充方式祛除所述需要祛除的斑点区域,包括:
获取所述人脸图像的YUV数据;
将所述需要祛除的斑点区域扩充;
根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值,对所述人脸图像的YUV三通道进行斑点填充。


13.如权利要求12所述的人脸图像处理方法,其特征在于,所述将所述需要祛除的斑点区域扩充,包括:
采用形态学膨胀处理将所述需要祛除的斑点区域扩充。


14.如权利要求12所述的人脸图像处理方法,其特征在于,所述根据所述需要祛除的斑点区域尺寸和所述斑点尺寸阈值,对所述人脸图像的YUV三通道进行斑点区域填充,包括:
采用如下公式分别对所述人脸图像的YUV三通道进行斑点区域填充:









其中,当斑点区域尺寸超过斑点尺寸阈值的二分之一,并且填充的是斑点区域边缘时,将所述斑点区域向外扩展3个像素点进行填充;当斑点区域尺寸超过斑点尺寸阈值的二分之一,并且填充的不是斑点区域边缘时,将所述斑点区域向外扩展2个像素点进行填充;当斑点区域尺寸小于斑点尺寸阈值的二分之一,并且填充的是斑点区域边缘时,将所述斑点区域向外扩展2个像素点进行填充;当斑点区域尺寸小于斑点尺寸阈值的二分之一,并且填充的不是斑点区域边缘时,将所述斑点区域向外扩展1个像素点进行填充;K为在当前填充半径内,所述斑点区域被填充的像素点和非斑点区域的像素点之和,imgY(x,y)、imgu(x,y)、imgv(x.y)为所述人脸图像的YUV三通道的数据,yDst、uDst、vDst为填充后的人脸图像的YUV三通道的数据。


15.一种人...

【专利技术属性】
技术研发人员:谢富名任洪林吴倩蔡进
申请(专利权)人:展讯通信上海有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1