一种基于闪光灯非闪光灯图像对的红眼检测方法技术

本发明专利技术涉及彩色数码照片的自动修复技术领域，涉及一种基于闪光灯非闪光灯图像对的红眼检测方法，包括：将输入的一组闪光灯彩色图像FL和非闪光彩色图像NF由RGB空间转换到CIELAB颜色空间并进行预处理；基于L*分量进行图像配准；在CIELAB空间进行肤色检测；使用a*分量和b*分量度量闪光灯彩色图像和非闪光彩色图像的红眼区域像素点的饱和度值，得到两图像饱和度的差别；确定候选红眼区域；去除干扰区域；确定红眼区域。本发明专利技术可以利用闪光灯/非闪光灯照片组，引入图像配准环节，并综合使用颜色和饱和度特征，快速准确检测并定位闪光灯图像中的红眼区域。

【技术实现步骤摘要】
一种基于闪光灯非闪光灯图像对的红眼检测方法所属
本专利技术涉及彩色数码照片的自动修复领域，尤其是数码照片的红眼效应检测方面。
技术介绍
随着科技的发展，数码相机也在不断的改良更新，融入人们的生活。当场景光线不够理想时，如在夜间或者光线较弱的室内环境，一般使用闪光灯在短时间内增强前景的光照，但经常会产生红眼效应。这是因为人类的瞳孔在环境光线不好的情况下会自动放大。在这种情况下使用闪光灯拍照时，人的瞳孔来不及收缩，较强的光线直接穿过瞳孔照射在视网膜的微血管组织上，再经瞳孔反射回红色的光线，从而使照片上人眼瞳孔区域呈现出不正常的红色，这就是红眼产生的原因。红眼现象的存在，严重降低图片质量，因此研究红眼校正方法对提高照片质量是有益而必要的。红眼效应是摄影中的常见问题，近年来红眼校正方法受到影像处理领域的公司和研究机构共同关注，专家学者提出了许多红眼自动校正方法，相关的国内外专利也有很多。已有方法大致可以分为两类，一类是手动或半自动的方法；另一类是全自动的方法。手动或半自动方法的基本思想是：用户先手动框选出一个包含红眼的感兴趣区域，然后利用图像处理方法精确定位红眼位置，最后进行颜色替换，从而消除红眼。这类方法简单易用，而且精确度高，但是需要用户的参与，应用性不是很高，因此它只适用于一些商用图像处理软件。全自动红眼消除算法的基本思路是：用户输入包含红眼现象的图像后，不需要进一步的手动操作，红眼去除系统可以自动检测到红眼的位置，对定位后的红眼区域进行偏色校正等操作。这类方法无需人工干预，实现自动化处理，但是目前还处于研究阶段，检测准确度和校正质量与手动方式相比较差，不能很好的投入到实际应用中。目前已有的全自动方法大致分为三类：基于人脸或者人眼检测的方法[1][2]、基于模板的方法[3][4][5]和基于闪光灯/无闪光灯图像对的方法[6]。基于人脸或人眼检测的方法，首先采用有监督的机器学习方法（如神经网络、支持向量机等），在闪光灯图像中定位人脸或者人眼的位置作为待检测区域，缩小检测范围。然后利用红眼的各种特征，如颜色特征、饱和度特征、形态特征、位置特征等在待检区域中精确定位红眼的位置，最后进行红眼校正。基于模板的方法，从图像中搜索红色区域或肤色区域作为候选区域，然后利用自定义的模板检测红眼区域。第一种方法参考人脸检测结果，检测准确性高，但当人脸区域部分被遮挡时，可能造成红眼漏检。第二种方法无需复杂的人脸检测过程，处理速度更快，但容易将图像中的红色物体误检为红眼。第三种方法使用闪光灯-非闪光灯图像对进行红眼检测与去除。在很短的时间内，连续拍摄一组闪光灯和非闪光灯照片图像对，假设在两张照片的间隙所拍景物没有移动。通过比较两幅图像红色区域的差别来定位红眼区域，进而结合两幅图像的内容，实现红眼的校正。文献[6]将一对闪光灯-非闪光灯图像转换到CIEL*a*b*空间，通过对比两幅图像在a*通道的差别来搜索红眼范围。在进行红眼去除时，使用非闪光灯图像匹配闪光灯图像的颜色。如果闪光灯和非闪光灯图像能够严格对准，使用该方法能够方便快捷地检测并去除红眼效应。但该方法要求连续拍摄的两张图片在空间位置上严格对齐，并假设红眼都是团状，与实际情况不完全相符。文献[3]提出红眼区域在强光照射情况下通常有高亮部分存在，在文献[6]的基础上，引入高亮特征用于去除干扰区域。与前一种方法相比，这类省去了人脸或者人眼检测的步骤，计算量明显减少。但该方法使用全局阈值检测红眼区域，算法的鲁棒性较低。本
技术实现思路
受到国家自然科学基金(No.61002030)项目资助。参考文献：[1]MGaubatz,R.Ulichney.Automaticred-eyedetectionandcorrection,InternationalConferenceonImageProcessing,2002,vol.1,804-807[2]路明,赵群飞,施鹏飞,一种自动红眼消除方法,电路与系统学报,2006,11(6),pp:124-128.[3]王艺莼,卜佳俊,红眼照片自动检测与修复方法,计算机工程,2003,29:pp:93-94.[4]FVolken,JTerrier,PVandewalle.Automaticred-eyeremovalbasedonscleraandskintonedetection,ProceedingsoftheIS&TThirdEuropeanConferenceonColorinGraphics,2006,359-364.[5]BSmolka,KCzubin,J.Y.Hardeberg,etal.Towardsautomaticred-eyeeffectremoval,PatternRecognitionLetters,2003,vol(24),no(2),pp:1767-1785.[6]X.P.Miao,T.Sim,Automaticred-eyedetectionandremoval,IEEEInternationalConferenceonMultimediaandExpo,2004,vol.2,pp:1195-1198.
技术实现思路
本专利技术的目的是克服现有技术的上述不足，提出一种红眼区域的快速而准备的检测方法，方案如下：一种基于闪光灯非闪光灯图像对的红眼检测方法，包括下列步骤：（1）将输入的一组闪光灯彩色图像FL和非闪光彩色图像NF由RGB空间转换到CIELAB颜色空间，闪光灯彩色图像和非闪光彩色图像的CIELAB空间三分量分别用FLL、FLa、FLb和NFLL、NFLa、NFLb表示，其中L通道的取值在[0,100]之间，a*分量和b*分量的取值都在[-127,128]之间；（2）对闪光灯彩色图像和非闪光彩色图像的L*分量进行双边滤波平滑处理，使用SFLL和SNFLL分别表示闪光灯图像和非闪光彩色图像的平滑处理后的结果；（3）基于L*分量进行图像配准，经图像配准得到的闪光灯彩色图像和非闪光彩色图像，分别用PFLC和PNFLC表示，其中C=L,a*,b*；（4）在CIELAB空间进行肤色检测，使用下式检测闪光灯彩色图像中的肤色区域，二值图像SKIN表示，其中取值为1的点代表像素点：（5）考察SKIN中的各连通区域，填充各连通区域内部的孔洞，处理结果用二值模板SKIN2表示；（6）根据二值模板SKIN2，提取PFLC和PNFLC对应区域内的像素点，利用a*通道考察两图像相同位置上红色的差别，用Δa*表示，即有：式中，af*和anf*分别表示闪光灯和非闪光灯图像的a*通道；（7）对Δa*进行归一化处理，用Mred表示，定义为：（8）使用a*分量和b*分量度量闪光灯彩色图像和非闪光彩色图像的红眼区域像素点的饱和度值，分别用Snf和Sf表示，即有式中，bf*和bnf*分别表示闪光灯彩色图像和非闪光彩色图像的b*通道，使用下式描述两图像饱和度的差别，用Msat表示，定义为：（9）在[0,1]内确定第一阈值θ1和第二阈值θ2，两个阈值分别用来衡量红色分量本文档来自技高网...

【技术保护点】
一种基于闪光灯非闪光灯图像对的红眼检测方法，包括下列步骤：（1）将输入的一组闪光灯彩色图像FL和非闪光彩色图像NF由RGB空间转换到CIELAB颜色空间，闪光灯彩色图像和非闪光彩色图像的CIELAB空间三分量分别用FLL、FLa、FLb和NFLL、NFLa、NFLb表示，其中L通道的取值在[0,100]之间，a*分量和b*分量的取值都在[‑127,128]之间；（2）对闪光灯彩色图像和非闪光彩色图像的L*分量进行双边滤波平滑处理，使用SFLL和SNFLL分别表示闪光灯图像和非闪光彩色图像的平滑处理后的结果；（3）基于L*分量进行图像配准，经图像配准得到的闪光灯彩色图像和非闪光彩色图像，分别用PFLC和PNFLC表示，其中C=L,a*,b*；（4）在CIELAB空间进行肤色检测，使用下式检测闪光灯彩色图像中的肤色区域，二值图像SKIN表示，其中取值为1的点代表像素点：（5）考察SKIN中的各连通区域，填充各连通区域内部的孔洞，处理结果用二值模板SKIN2表示；（6）根据二值模板SKIN2，提取PFLC和PNFLC对应区域内的像素点，利用a*通道考察两图像相同位置上红色的差别，用Δa*表示，即有：式中，af*和anf*分别表示闪光灯和非闪光灯图像的a*通道；（7）对Δa*进行归一化处理，用Mred表示，定义为：（8）使用a*分量和b*分量度量闪光灯彩色图像和非闪光彩色图像的红眼区域像素点的饱和度值，分别用Snf和Sf表示，即有Snf(x,y)=|anf*(x,y)-0|+|bnf*(x,y)-0|]]>Sf(x,y)=|af*(x,y)-0|+|bf*(x,y)-0|]]>式中，bf*和bnf*分别表示闪光灯彩色图像和非闪光彩色图像的b*通道，使用下式描述两图像饱和度的差别，用Msat表示，定义为：（9）在[0,1]内确定第一阈值θ1和第二阈值θ2，两个阈值分别用来衡量红色分量和饱和度的差别，确定候选红眼区域BW(x,y)：（10）判断BW中各连通区域是否有“孔洞”并填充；（11）使用半径为2的“碟形”结构元素对前一步结果进行先“闭”后“开”运算，连接断裂部分；（12）计算前一步结果各连通区域的面积，即像素点的数目，用AREA表示，将面积数小于θ3的连通区域判为干扰区域并去除；（13）计算上一步结果的各连通区域的最小外接矩形，分别用WID和HET表示最小外接矩形的宽度和高度，定义长宽比Rwh=WID/HET；填充率Rfill=AREA/WID×HET，对各连通区域，只有同时满足0.75<Rwh<1.33，且Rfill>0.66两条件的区域，才最终判为红眼区域。...

【技术特征摘要】
1.一种基于闪光灯非闪光灯图像对的红眼检测方法，包括下列步骤：(1)将输入的一组闪光灯彩色图像FL和非闪光彩色图像NF由RGB空间转换到CIELAB颜色空间，闪光灯彩色图像和非闪光彩色图像的CIELAB空间三分量分别用FLL、FLa、FLb和NFLL、NFLa、NFLb表示，其中L*分量的取值在[0,100]之间，a*分量和b*分量的取值都在[-127,128]之间；(2)对闪光灯彩色图像和非闪光彩色图像的L*分量进行双边滤波平滑处理，使用SFLL和SNFLL分别表示闪光灯图像和非闪光彩色图像的平滑处理后的结果；(3)基于L*分量进行图像配准，经图像配准得到的闪光灯彩色图像和非闪光彩色图像，分别用PFLC和PNFLC表示，其中C＝L*,a*,b*；(4)在CIELAB空间进行肤色检测，使用下式检测闪光灯彩色图像中的肤色区域，二值图像SKIN表示，其中取值为1的点代表像素点：(5)考察SKIN中的各连通区域，填充各连通区域内部的孔洞，处理结果用二值模板SKIN2表示；(6)根据二值模板SKIN2，提取PFLC和PNFLC对应区域内的像素点，利用a*通道考察两图像相同位置上红色的差别，用Δa*表示，即有：式中，和分别表示闪光灯和非闪光灯图像的a*通道；(7)对Δa*进行归一化处理，用Mred表示，定义为：(8)使用a*分量和b*分量度量闪光灯彩色图像和非闪光彩...

【专利技术属性】
技术研发人员：王建，庞彦伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12