一种夜景图像窗户镜面反射效应去除方法技术

本发明专利技术涉及一种夜景图像窗户镜面反射效应去除方法，包括：获取同一背景下的两幅含有反射效应的夜景图像；定位反射区域；判断反射区域是否存在重叠；按照不同的情况分别进行处理；第一种，对于反射区域不重叠的情况，去除反射效应；第二种，对于反射区域存在重叠的情况，对于非重叠的反射区域，按照前述的反射区域不重叠情况进行处理；对于重叠的反射区域，进行相应的处理，最终得到总的背景图像。本发明专利技术能够实现反射效应的快速去除，增强夜景图像的可视质量。

【技术实现步骤摘要】
一种夜景图像窗户镜面反射效应去除方法所属
本专利技术涉及一种彩色数码照片的镜面反射效应去除方法。
技术介绍
当居住在高层建筑物的消费者在室内使用数码相机或智能手机拍摄窗外场景时，由于摄像头和拍摄场景之间存在着玻璃窗户，常受到室内场景镜面反射现象的影响。在拍摄夜景图像时，这种反射干扰现象尤为明显。图1所示为一幅存在镜面反射效应的夜景图像，图中右上方亮区域在背景中并不真实存在，而是由于室内亮区域通过窗户玻璃的反射效应造成的。显然，反射区域的存在严重影响了夜景照片的可视质量，因此提出如何去除这类反射效应，恢复夜景图像的原貌是非常必要的。目前已有的反射效应去除方面的文献以外文为主。早期的方法都是通过改变相机的物理参数来获取两幅或多幅不同的图像，通过分析反射分量在不同图像的差别来分离背景场景和反射场景。例如，文献[1]和文献[2]所提方法通过改变偏振镜片的角度方式获取不同图像，文献[3]的方法中采用不同的镜头焦距拍摄图像，文献[4]使用闪光灯-非闪光灯图像对来降低反射效应的影响。上述方法虽然能够有效抑制反射效应，但是通常需要拍摄人掌握一定的摄影技巧，或者通过特定的工具，因此上述方法的通用性较差。文献[5]和文献[6]借助人工辅助方式实现分离反射场景，这类方法只需要单幅图像，但是需要人工辅助输入，另外分离过程使用的迭代算法计算量偏大，因此只适用于少量图像的情况。近期的研究重点重新回到基于多幅图像的思路，但在拍摄不同图像时，不需要调整相机的参数，只需改变拍摄角度，使得不同图像的反射分量存在一定视角上的差别。文献[7]借助立体匹配中的深度信息来恢复背景成分，但要求拍摄的图像只在水平方向上有位移。文献[8]通过计算图像序列的统计特性，使用一种稀疏盲分离技术分离反射分量。文献[9]提出了一种基于梯度信息的反射分离方法，根据各配准处理后各图像对应位置边缘点的分布情况，将边缘点分为背景层和反射层两类，再使用文献[5]的方法实现两层的划分。参考文献：[1]H.FaridandE.Adelson.Separatingreflectionsandlightingusingidependentcomponentsanalysis.InCVPR,pages262–267,1999.[2]Y.Schechner,J.Shamir,andN.Kiryati.Polarization-baseddecorrelationoftransparentlayers:theinclinationangleofaninvisiblesurface.InICCV,pages814–819,1999.[3]Y.Y.Schechner,N.Kiryati,andR.Basri.Separationoftransparentlayersusingfocus.IJCV,39(1):25–39,2000.[4]A.Agrawal,R.Raskar,S.Nayar,andY.Li.Removingphotographyartifactsusinggradientprojectionandflash-exposuresampling.ACMTrans.Graphics,23(3):828–835,2005.[5]A.LevinandY.Weiss.Userassistedseparationofreflectionsfromasingleimageusingasparsityprior.IEEETPAMI,29(9):1647–1654,2007.[6]S.Yeung,T.Wu,andC.Tang.Extractingsmoothandtransparentlayersfromasingleimage.InCVPR,pages1–7,2008.[7]Y.Tsin,S.B.Kang,andR.Szeliski.Stereomatchingwithlinearsuperpositionoflayers.TPAMI,28(2):290–301,2006.[8]K.Gai,Z.Shi,andC.Zhang.Blindseparationofsuper-imposedmovingimagesusingimagestatistics.TPAMI,34(1):19–32,2012.[9]Y.Li,M。S.Brown,ExploitingReflectionChangeforAutomaticReflectionRemoval.InICCV2013.
技术实现思路
本专利技术的目的是克服现有技术的上述不足，提供一种针对夜景图像的窗户镜面反射效应的去除方法，实现反射效应的快速去除，增强夜景图像的可视质量。本专利技术的技术方案如下：一种夜景图像窗户镜面反射效应去除方法，包括下面的步骤：步骤1：按照下列的条件获取同一背景下的两幅含有反射效应的夜景图像：(1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不变；(2)在拍摄两幅图像时，要保证两图像在同一个平面内；(3)在改变相机位置时，相机可以在同一个平面内的水平方向或垂直方向移动，但要求位移的大小应保证反射场景在两图像的位置有一定差别；用I1和I2分别表示同一背景下两幅含有反射场景的夜景图像，用B表示整个背景分量，Ω1和Ω2表示I1和I2中反射分量所在区域，B1和B2分别表示Ω1和Ω2对应区域的背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω1在I1中对应的子图像是B1+R，Ω2在I2中对应的子图像是B2+R；步骤2：定位反射区域确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值，进而分别得到两图像中反射区域Ω1和Ω2的外接矩形位置信息；步骤3：判断反射区域是否存在重叠；步骤4：按照不同的情况分别进行处理：第一种，对于反射区域不重叠的情况：用R表示Ω1和Ω2中的反射分量，用B1表示Ω1中的背景分量，用B2表示Ω2中的背景成分；由于Ω1和Ω2区域不重叠，因此I1中Ω1对应的子图像是(R+B1)，I1中Ω2对应的子图像是B2；I2中Ω1对应的子图像是B1，I2中Ω2对应的子图像是(R+B2)，针对反射区域不重叠情况的反射效应去除方法如下：1)从I1提取Ω1和Ω2对应的子图像，分别用(R+B1)和B2表示；2)从I2中提取Ω1和Ω2对应的子图像，分别用B1和(R+B2)表示；3)使用I2中Ω1对应的子图像B1代替I1中的Ω1对应的子图像(R+B1)，处理后的图像用C1表示；4)使用I1中Ω2对应的子图像B2代替I2中的Ω2对应的子图像(R+B2)，处理后的图像用C2表示；5)将C1和C2求平均，得到最后的恢复图像，用C表示；第二种，对于反射区域存在重叠的情况：用ΩO表示Ω1和Ω2的重叠区域，即有ΩO＝Ω1∩Ω2，由于Ω1和Ω2是用其外接矩形表示其位置，因此ΩO也是一个矩形区域，对于Ω1和Ω2中非重叠的区域，按照前述的反射区域不重叠情况进行处理；用RO1表示I1中ΩO区域对应的反射分量，用RO2表示I2中ΩO区域对应的反射分量，用BO表示ΩO区域对应的背景分量，在I1中的反射分量RO1在I2中的对应区域是ΩO+Δ，其中，Δ表示从Ω1到Ω2的位移，同理可得，在I2中的反射分量RO2在I1中的对应区域本文档来自技高网...

【技术保护点】
一种夜景图像窗户镜面反射效应去除方法，包括下面的步骤：步骤1：按照下列的条件获取同一背景下的两幅含有反射效应的夜景图像：(1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度等参数保持不变；(2)在拍摄两幅图像时，要保证两图像在同一个平面内；(3)在改变相机位置时，相机可以在同一个平面内的水平方向或垂直方向移动，但要求位移的大小应保证反射场景在两图像的位置有一定差别；用I1和I2分别表示同一背景下两幅含有反射场景的夜景图像，用B表示整个背景分量，Ω1和Ω2表示I1和I2中反射分量所在区域，B1和B2分别表示Ω1和Ω2对应区域的背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω1在I1中对应的子图像是B1+R，Ω2在I2中对应的子图像是B2+R；步骤2：定位反射区域确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值，进而分别得到两图像中反射区域Ω1和Ω2的外接矩形位置信息；步骤3：判断反射区域是否存在重叠；步骤4：按照不同的情况分别进行处理：第一种，对于反射区域不重叠的情况：用R表示Ω1和Ω2中的反射分量，用B1表示Ω1中的背景分量，用B2表示Ω2中的背景成分；由于Ω1和Ω2区域不重叠，因此I1中Ω1对应的子图像是(R+B1)，I1中Ω2对应的子图像是B2；I2中Ω1对应的子图像是B1，I2中Ω2对应的子图像是(R+B2)，针对反射区域不重叠情况的反射效应去除方法如下：1)从I1提取Ω1和Ω2对应的子图像，分别用(R+B1)和B2表示；2)从I2中提取Ω1和Ω2对应的子图像，分别用(R+B2)和B1表示；3)使用I2中Ω1对应的子图像B1代替I1中的Ω1对应的子图像(R+B1)，处理后的图像用C2表示；4)使用I1中Ω2对应的子图像B2代替I2中的Ω2对应的子图像(R+B2)，处理后的图像用C2表示；5)将C1和C2求平均，得到最后的恢复图像，用C表示；第二种，对于反射区域存在重叠的情况：用ΩO表示Ω1和Ω2的重叠区域，即有ΩO＝Ω1∩Ω2，由于Ω1和Ω2是用其外接矩形表示其位置，因此ΩO也是一个矩形区域，对于Ω1和Ω2中非重叠的区域，按照前述的反射区域不重叠情况进行处理；用RO1表示I1中ΩO区域对应的反射分量，用RO2表示I2中ΩO区域对应的反射分量，用BO表示ΩO区域对应的背景分量，在I1中的反射分量RO1在I2中的对应区域是ΩO+Δ，其中，Δ表示从Ω1到Ω2的位移，同理可得，在I2中的反射分量RO2在I1中的对应区域是ΩO–Δ，其中–Δ表示从R2到R1的位移；在I1中ΩO+Δ子图像是BO+Δ，I1中ΩO–Δ的子图像是RO2+BO–Δ；I2中ΩO–Δ子图像是BO–Δ，I2中ΩO+Δ的子图像是RO1+BO+Δ，采用下面方法去除Ω1和Ω2重叠区域ΩO的反射分量：1)从I1中提取3个子图像，分别用(RO1+BO)、(RO2+BO–Δ)和BO+Δ表示；2)从I2中提取3个子图像，分别用(RO2+BO)、(RO1+BO+Δ)和BO–Δ表示；3)计算(RO1+BO–Δ)和BO–Δ的差值，得到R′O1；计算(RO1+BO)和R′O1的差值，结果用B′O表示；4)计算(RO2+BO+Δ)和BO+Δ的差值，得到R′O2；然后计算(RO2+BO)和R′O2的差值，用B″O表示；5)计算B′O和B″O的均值，得到ΩO的背景子图像，用BO表示，即有：BO＝(B′O+B″O)/2；6)恢复非重叠部分的背景图像，最终得到总的背景图像。...

【技术特征摘要】
1.一种夜景图像窗户镜面反射效应去除方法，包括下面的步骤：步骤1：按照下列的条件获取同一背景下的两幅含有反射效应的夜景图像：(1)需要拍摄两幅图像，并保证在拍摄时镜头的焦距、光圈、曝光度参数保持不变；(2)在拍摄两幅图像时，要保证两图像在同一个平面内；(3)在改变相机位置时，相机在同一个平面内的水平方向或垂直方向移动，但要求位移的大小应保证反射场景在两图像的位置有差别；用I1和I2分别表示同一背景下两幅含有反射场景的夜景图像，用B表示整个背景分量，Ω1和Ω2表示I1和I2中反射分量所在区域，B1和B2分别表示Ω1和Ω2对应区域的背景分量，反射分量用R表示，使用加性模型来描述成像过程，即Ω1在I1中对应的子图像是B1+R，Ω2在I2中对应的子图像是B2+R；步骤2：定位反射区域确认两幅图像中反射区域对应的最上方、最下方、最左方和最右方位置的坐标值，进而分别得到两图像中反射区域Ω1和Ω2的外接矩形位置信息；步骤3：判断反射区域是否存在重叠；步骤4：按照不同的情况分别进行处理：第一种，对于反射区域不重叠的情况：用R表示Ω1和Ω2中的反射分量，用B1表示Ω1中的背景分量，用B2表示Ω2中的背景成分；由于Ω1和Ω2区域不重叠，因此I1中Ω1对应的子图像是(R+B1)，I1中Ω2对应的子图像是B2；I2中Ω1对应的子图像是B1，I2中Ω2对应的子图像是(R+B2)，针对反射区域不重叠情况的反射效应去除方法如下：1)从I1提取Ω1和Ω2对应的子图像，分别用(R+B1)和B2表示；2)从I2中提取Ω1和Ω2对应的子图像，分别用B1和(R+B2)表示；3)使用I2中Ω1对应的子图像B1代替I1中的Ω1对应的子图像(R+B1)，处理后的图像用C1表示；4)使用I1中Ω2对应的子图像B2代替I2中的Ω2对应的子图像(R+B2)，处理后的图像用C2表示；5)将C1和C2求平均，得到最后的恢复图像，用C表示；第二种，对于反射区域存在重叠的情况：用ΩO表示Ω1和Ω2的重叠区域，即...

【专利技术属性】
技术研发人员：王建，刘长波，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12