一种基于深度学习的单图像去反射方法技术

本发明专利技术公开了一种基于深度学习的单图像去反射方法。本发明专利技术利用重影线索，利用双重反射合成建模，首先根据传统方法或者深度学习的方法进行重影卷积核参数估计，利用深度网络估计背景层图像和反射层图像提出自监督，从而达到更好的去反射的目的。本发明专利技术使用传统方法或者深度学习的方法对于重影卷积核k估计，更好的利用反射图像中重影线索，从而分离重影反射图像的背景层图像和反射层图像。本发明专利技术对于估计重影卷积核k和估计背景层图像T、反射层图像R的模型进行预训练，从而加快模型收敛速度，提高模型表现。本发明专利技术能够对大部分的自然场景重影反射图像产生较好的复原效果。

【技术实现步骤摘要】
一种基于深度学习的单图像去反射方法
本专利技术涉及数字图像复原领域，特别涉及了一种基于深度学习的单图像去反射方法。
技术介绍
随着科学技术的不断发展人们对信息的感知、获取和处理变得越来越重要，然而现实世界的拍摄过程光照造成的反射会导致户外视频系统捕获的图像颜色和对比度严重退化不仅会影响人们的观察理解，而且妨碍图像后续处理的基本信息提取。当人们在玻璃前拍摄物体的照片时，反射是很常见的物理现象。因此，如何降低或去除反射对图像的影响成为计算机视觉领域的研究的基础问题。针对反射问题，Shih等人(Y.Shih,D.Krishnan,F.Durand,andW.T.Freeman,“Reflectionremovalusingghostingcues,”inIEEEConferenceonComputerVisionandPatternRecognition,2015.)对Google上的关于窗户反射的图像进行了物理统计，结果发现大约有一半的图像会伴随有重影现象这是由于玻璃的双重反射在图像上产生的关于反射层场景的二次成像现象导致的。本专利技术主要针对有重影效应的反射图像，使用了Diamant和Schechner提出的重影模型(Y.DiamantandY.Y.Schechner.Overcomingvisualreverberations.InIEEEConferenceonComputerVisionandPatternRecognition(CVPR),pages1–8,2008.2,3,5.)。来自被反射物体的光线(与相机在玻璃窗格的同一侧)首先从玻璃窗格反射，以产生一个原始反射层，用R1表示。由于玻璃是半反射的，因此R1仅包含一定比例的入射光。其余的透过玻璃，到达另一侧，其中的一部分会反射回相机，这导致用R2表示的第二反射。R1是R2在空间上移位和衰减的图像。R1和R2的叠加产生了重影反射层图像R，T为背景层图像，I为观测得到的带重影的反射图像。他们量化了传输层和反射层中的重影。将重影建模为反射层R与内核k的卷积。然后可以分别通过R和T将观察到的图像I建模为重影反射层和透射层的加法混合:其中重影卷积核k的估计由空间移位矢量d和衰减因子c进行参数化：k＝δ(x)+cδ(x-d)(2)这里x指像素的坐标，δ(·)表示狄拉克函数。图像去反射已经研究多年，针对反射现象研究人员提出通过使用特定的硬件设备，例如以不同偏振角拍摄的几张图像来估计反射层(N.Kong,Y.Tai,andJ.Shin.Aphysically-basedapproachtoreflectionseparation:Fromphysicalmodelingtoconstrainedoptimization.IEEETransactionsonPatternAnalysisandMachineIntelligence(TPAMI),36(2):209–221,2014.1,2.Y.Y.Schechner,J.Shamir,andN.Kiryati.Polarizationandstatisticalanalysisofscenescontainingasemireflector.TheJournaloftheOpticalSocietyofAmericaA,17(2):276–284,2000.1,2.)，或者依靠具有和不具有闪光灯拍摄的同一场景的两张照片消除闪光图像的反射和高光等基于多图像的去反射方法(Y.Y.Schechner,N.Kiryati,andJ.Shamir.Blindrecoveryoftransparentandsemireflectedscenes.InIEEEConferenceonComputerVisionandPatternRecognition(CVPR),volume1,pages38–43,2000.1,3.)。这些方法都取得了较好去反射的效果，但是这些算法都是基于多幅图像，需要较长的图像序列，极大地限制了它们的应用范围。考虑到普通用户的技能和资源，这些方法都不可行。对于使用普通相机进行的日常摄影，去除单个图像反射的方法是十分必要的。单图像去反射问题是一个极具挑战性的病态问题。通常，在实际场景中，仅依赖一张图像的方法的性能受到限制，而且目标图像和反射层图像之间同时满足自然图像常见的统计特性，这增大了问题的挑战性。现有的单图像去反射研究可以分成两类。第一类使用基于非学习的方法解决这个问题。先前的一些工作采用了不同的先验信息来开发背景层和反射层的特殊属性。广泛使用的先验是自然图像梯度稀疏性(A.Levin,A.Zomet,andY.Weiss.Learningtoperceivetransparencyfromthestatisticsofnaturalscenes.InNIPS,2003.2.A.Levin,A.Zomet,andY.Weiss.Separatingreflectionsfromasingleimageusinglocalfeatures.InCVPR,2004.2.)，以找到用于层分解的最小边缘和角。他们的方法依赖于用户标记背景和反射边缘，这非常费力，并且可能在纹理区域中失败。最近的工作利用透射和反射之间的统计不对称性，例如考虑反射场景是消色差的情况(K.Kayabol,E.E.Kuruoglu,andB.Sankur.Imagesourceseparationusingcolorchanneldependencies.InIndependentComponentAnalysisandSignalSeparation,pages499–506.Springer,2009.3.)，或者相对于透射而言反射模糊(Y.LiandM.S.Brown.Singleimagelayerseparationusingrelativesmoothness.InIEEEConferenceonComputerVisionandPatternRecognition(CVPR),2014.3,6.)，还有一些方法(Y.Shih,D.Krishnan,F.Durand,andW.T.Freeman,“Reflectionremovalusingghostingcues,”inIEEEConferenceonComputerVisionandPatternRecognition,2015.)利用了通过双层玻璃拍摄的图像上的重影线索来区分背景层和反射层。另一类通过使用基于学习的方法。Fan等(Q.Fan,J.Yang,G.Hua,B.Chen,andD.P.Wipf,“Agenericdeeparchitectureforsingleimagereflectionremovalandimagesmoothing.”inIEEEInternationalConferenceonComputerVision,2017.)通过合成数据集训练深度神经网络，利用边缘信息去除反射层。Zhang等(Zhang,X.,Ren,N本文档来自技高网...

【技术保护点】
1.一种基于深度学习的单图像去反射方法，其特征在于，包括以下步骤：/nS1、首先合成具有带重影的反射图像以及对应重影参数和背景层反射层图像的合成反射图像数据集，通过合成反射图像数据集中反射重影图像和对应重影参数对于进行重影卷积核k参数估计的CNN模型有监督的进行预训练；/nS2、利用具有真实背景层图像T和反射层图像R对应的合成反射图像数据集通过有监督学习对于估计背景层图像T和反射层图像R的基于U-net模型进行预训练；/nS3、将具有在真实世界中对于重影卷积核k、真实背景层图像T和反射层图像R未知的带重影的反射图像的数据集作为真实反射图像数据集；输入带重影的真实反射图像I根据重影区域信息利用传统方法或者深度学习的方法及S1中预训练得到的CNN模型进行重影卷积核参数的估计得到k′；/nS4、将步骤S3中的带重影的真实反射图像I同时输入基于U-net模型输出对应背景层图像T′和反射层图像R′；/nS5、根据步骤S3得到的重影卷积核k′、步骤S4得到的背景层图像T′和反射层图像R′，通过已有带重影的真实反射图像I进行自监督学习，训练网络模型；/nS6、将测试数据集中的带重影的反射图像输入训练好的基于U-net模型，输出对应的反射层图像和背景层图像。/n...

【技术特征摘要】
1.一种基于深度学习的单图像去反射方法，其特征在于，包括以下步骤：
S1、首先合成具有带重影的反射图像以及对应重影参数和背景层反射层图像的合成反射图像数据集，通过合成反射图像数据集中反射重影图像和对应重影参数对于进行重影卷积核k参数估计的CNN模型有监督的进行预训练；
S2、利用具有真实背景层图像T和反射层图像R对应的合成反射图像数据集通过有监督学习对于估计背景层图像T和反射层图像R的基于U-net模型进行预训练；
S3、将具有在真实世界中对于重影卷积核k、真实背景层图像T和反射层图像R未知的带重影的反射图像的数据集作为真实反射图像数据集；输入带重影的真实反射图像I根据重影区域信息利用传统方法或者深度学习的方法及S1中预训练得到的CNN模型进行重影卷积核参数的估计得到k′；
S4、将步骤S3中的带重影的真实反射图像I同时输入基于U-net模型输出对应背景层图像T′和反射层图像R′；
S5、根据步骤S3得到的重影卷积核k′、步骤S4得到的背景层图像T′和反射层图像R′，通过已有带重影的真实反射图像I进行自监督学习，训练网络模型；
S6、将测试数据集中的带重影的反射图像输入训练好的基于U-net模型，输出对应的反射层图像和背景层图像。


2.根据权利要求1所述的一种基于深度学习的单图像去反射方法，其特征在于，步骤S1包括以下步骤：
S1.1、为合成带重影的反射图像的数据集，衰减因子c在[0.5,1]随机采样，空间移位矢量d是一个随机向量满足1<||(d)||2≤20，在现有的真实图像数据集中随机选择两张图像作为反射层和背景层，从而生成若干张具有反射重影图像、对应重影参数和背景层反射层图像的合成数据集；在合成数据集中随机选择N1个大小为r×r的反射图像区域块，记为xi；
S1.2、将合成反射图像区域块xi的对应重影参数及衰减因子c、空间移位矢量d根据公式计算区域块真实的重影卷积核k，具体如下：
k＝δ(x)+cδ(x-d)；
其中x指像素的坐标，δ(·)表示狄拉克函数；以xi作为输入，重影卷积核k作为标签训练CNN模型。


3.根据权利要求2所述的一种基于深度学习的单图像去反射方法，其特征在于，所述CNN模型包括卷积层conv、批归一化层BN、激活函数ReLU和激活函数SoftMax；
第一层包括64个大小为3×3×c的滤波器的卷积层，其中c表示通道数，彩色图像c＝3；第二层至第八层均包括64个大小为3×3×64的滤波器的卷积层和批归一化层，且第二层至第八层均添加激活函数ReLU输出至下一层；第九层包括c个大小为3×3×64的滤波器用于重构输出，且第九层添加激活函数SoftMax作为输出；
所述训练CNN模型为将估计的重影卷积核k′与真实的重影卷积核k之间的均方误差作为损失函数使用SGD反向传播算法训练网络各层参数。


4.根据权利要求2所述的一种基于深度学习的单图像去反射方法，其特征在于，步骤S2中，采用步骤S1中的合成反射图像数据集作为训练样本，通过有监督学习方法训练生产背景层图像T和反射层图像R的基于U-net模型，具体如下：
对于S1.1中随机选择的合成反射图像区域块xi，以xi对应的真实背景层图像T和反射层图像R作为标签训练基于U-net模型；
所述基于U-net模型包括卷积层Conv、批归一化层BN、最大池化层MaxPool、反卷积层Deconv、激活函数ReLU以及跳跃链接SkipConn；其中，最大池化层用于进行下采样，反卷积层用于进行上采样；首先输入大小为W×H×c图像利用三层包括64个大小为3×3×c的滤波器的卷积层和激活函数ReLU进行特征提取，特征输入三层下采样层，下采样层由卷积层和激活函数ReLU和2×2池化核的最大池层构成；将下采样层输出的图像编码输入到三层上采样层，上采样层由卷积层和激活层ReLU和反卷积层构成，并且为保证扩展路径与收缩路径相同大小的特征图更好的进行跳层连接，反卷积操作之后引入2×2卷积核；跳过连接从第1/2个下采样层添加到第3/2个上采样层；将下采样层输出的大小为W×H×64...

【专利技术属性】
技术研发人员：黄艳，秦欣然，全宇晖，许勇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44