基于闪光灯线索和神经网络的图像复原系统及其方法技术方案

本发明专利技术公开了基于闪光灯线索和神经网络的图像复原系统及其方法，所述图像复原系统包括反射训练图集、去反射卷积神经网络和优化训练模块；所述去反射卷积神经网络包括反射图估计子网络和透射图估计子网络；所述反射训练图集通过含有反射的环境图，闪光灯图，透射图和反射图处理生成初始图像I

【技术实现步骤摘要】
基于闪光灯线索和神经网络的图像复原系统及其方法

：
[0001]本专利技术涉及图像处理技术与深度学习
，尤其涉及基于闪光灯线索和神经网络的图像复原系统及其方法。

技术介绍
：
[0002]反射是一种常见的光学现象。当隔着玻璃或者其他透明介质进行拍照时，所获得的照片将混合位于介质两侧的透射和反射两个不同场景。与其他图像退化问题不同，反射所引入的失真具有非均匀特性，一些强反射区域导致人眼难以判断原始场景中的信息，同时反射图像会对图像语义信息的理解造成干扰。因此，反射不仅影响图像的视觉质量，同时对后续识别等下游视觉任务的有显著影响。随着目前智能手机的普及和视觉信息在智能监控中的广泛应用，对成像质量的要求日益增强，针对反射图像的复原在目前具有较强的实用价值。
[0003]在图像去反射任务中，包含反射的环境图像I可以表示为透射图T和反射图R的线性组合I＝T+R，图像去反射即从混合图像I中分解出透射图像T。
[0004]图像去反射方法可以分为基于传统图像处理方法和基于深度学习的方法。传统图像处理方法利用额外的参考信息来实现图像去反射，例如，Agrawl等人
[1]利用闪光灯图像和梯度投影来去除图像中的伪影；Wan等人
[2]利用深度图来识别图像中的反射边缘，在边缘信息的引导下消除图像中的反射。
[0005]基于深度学习的去反射方法目前针对单图像去反射，只需要单幅带有反射的图像作为输入，训练卷积神经网络从输入图像中估计透射场景。例如，Fan等人
[3]率先提出一种基于边缘图和深度神经网络的反射去除算法，通过一个两阶段的框架先预测无反射图像的边缘信息，之后利用获得的边缘信息来恢复透射图像。Yang等人
[4]提出一种级联的神经网络结构交替估计透射和反射图像，该网络先从输入图像中估计一个粗略的透射图T，之后利用生成的粗略透射图T来估计反射图R，最后将输入图像I和估计的反射图R作为输入，生成最终的透射图T。与之类似，Li等人
[5]通过利用LSTM实现了一种循环的级联细化网络，通过利用LSTM不断进行迭代，将每次生成的透射图T和反射图R作为下一次循环的输入，不断更新，从而得到最终且效果更好的透射图T和反射图R。然而，目前的单图像去反射方法的鲁棒性还不强，难以处理一些包含复杂环境的反射以及强反射等。
[0006]基于闪光灯线索的去反射方法通过增加一张额外在闪光灯条件下拍摄的图像作为输入。在自然光照和闪光灯光照条件下对同一场景进行拍摄，仅会对透射场景的成像光照造成影响，由于反射场景位于相机后方，不受闪光灯的影响。因此，借助闪光灯成像可以为去反射提供更多线索，有助于解决传统单张图像去反射存在的局限性。Lei等人
[6]提出了一种新颖的基于闪光灯线索的图像去反射方法，首先将分别在环境光和闪光灯光照条件下对同一场景拍摄的两幅图像相减消除反射的影响，得到flash
‑
only图像(即相当于不包含自然光，仅包含闪光灯条件下的成像结果)，利用flash
‑
only图像作为卷积神经网络的引导，从而实现恢复出质量更好的透射图。
[0007]由于闪光灯被广泛集成于智能手机中，借助开、关闪光灯状态下产生的光照差异可以得到对消除反射有用的辅助线索，有助于实现较单张图像去反射更好的复原效果。

技术实现思路
：
[0008]针对现有技术存在的问题，本专利技术提供了一种基于闪光灯线索和多层循环卷积神经网络的图像复原方法，该专利技术利用深度神经网络进行图像去反射，去反射神经网络包含两个相同的子网络去分别生成反射图R和透射图T；采用L1范数损失函数和感知损失函数的线性组合训练去反射神经网络；该方法通过利用闪光灯图的辅助可以快速准确的恢复出无反射图像。
[0009]为了解决现有技术中存在的问题，本专利技术采用如下技术方案予以实施：基于闪光灯线索和多层循环卷积神经网络的图像复原系统，所述图像复原系统包括反射训练图集、去反射卷积神经网络和优化训练模块；所述去反射卷积神经网络包括反射图估计子网络和透射图估计子网络；其中：
[0010]所述反射训练图集通过如下公式将含有反射的环境图，闪光灯图，透射图和反射图处理生成初始图像I
fo
：
[0011]I
fo
＝I
f
‑
I
a
[0012]其中：环境光照图像I
a
和闪光灯图像I
f
；
[0013]所述反射图估计子网络以环境光照图像I
a
和初始图像I
fo
作为输入生成反射图像R；
[0014]所述透射图估计子网络以反射图像R和环境光照图像I
a
作为输入生成透射图像T；
[0015]所述优化训练模块通过L1范数损失函数和感知损失函数的线性组合训练去反射神经网络获得优化去反射神经网络。
[0016]进一步，所述反射图估计子网络和透射图估计子网络均由编码器和解码器组成；所述编码器包括卷积层、下采样层和多分支残差层；所述解码器包括8层卷积层和4层上采样层。
[0017]进一步，所述多分支残差层还包括有浅层残差单元；所述多分支残差层对输入图像参数进行反射、透光的特征提取生成特征图像步骤：201、所述多分支残差层将第一输入图像特征X1按照如下公式在通道维度进行分割生成三部分独立图像特征；
[0018]X1＝X1[1]∪X1[2]∪X1[3][0019]202、所述浅层残差单元按如下公式分别对X1[2]和X1[3]进行卷积和残差连接处理处理：
[0020]S3×3(X1[2])＝LeakyRELU(C3×3(X1[2])+X1[2])
[0021]S3×3(X1[3])＝LeakyRELU(C5×5(X1[3])+X1[3])
[0022]其中：C3×3(
·
)和C5×5(
·
)分别表示卷积核为3
×
3和5
×
5的卷积层。
[0023]203、所述多分支残差层按照如下公式对第一残差参数和第二残差参数在通道维度上进行拼接生成中间特征M
[0024]M＝Concat(S3×3(X1[2])，S5×5(X1[3]))
[0025]其中：Concat(
·
,
·
)表示通道上的拼接操作；
[0026]204、所述多分支残差层按照如下公式对中间特征M进行通道混合操作和1
×
1的卷
积层特征融合生成第一次融合特征F，
[0027]F＝C1×1(Shuffle(M))
[0028]其中：Shuffle(
·
)表示通道混合操作；将1
×
1的卷积层记为C1×1(
·
)；
[0029]205、所述多分支残差层通过如下公式将融合特征F与第一输入图像特征X1相加得到第二图像特征X2，...

【技术保护点】

【技术特征摘要】
1.基于闪光灯线索和卷积神经网络的图像复原系统，其特征在于：所述图像复原系统包括反射训练图集、去反射卷积神经网络和优化训练模块；所述去反射卷积神经网络包括反射图估计子网络和透射图估计子网络；其中：所述反射训练图集通过如下公式将含有反射的环境图，闪光灯图，透射图和反射图处理生成初始图像I
fo
：I
fo
＝I
f
‑
I
a
其中：环境光照图像I
a
和闪光灯图像I
f
；所述反射图估计子网络以环境光照图像I
a
和初始图像I
fo
作为输入生成反射图像R；所述透射图估计子网络以反射图像R和环境光照图像I
a
作为输入生成透射图像T；所述优化训练模块通过L1范数损失函数和感知损失函数的线性组合训练去反射神经网络获得优化去反射神经网络。2.根据权利要求1所述的基于闪光灯线索和卷积神经网络的图像复原系统，其特征在于：所述反射图估计子网络和透射图估计子网络均由编码器和解码器组成；所述编码器包括卷积层、下采样层和多分支残差层；所述解码器包括8层卷积层和4层上采样层。3.根据权利要求2所述的基于闪光灯线索和神经网络的图像复原系统，其特征在于：所述多分支残差层还包括有浅层残差单元；所述多分支残差层对输入图像参数进行反射、透光的特征提取生成特征图像步骤：201、所述多分支残差层将第一级特征X1按照如下公式在通道维度进行分割生成三部分独立图像特征；X1＝X1[1]∪X1[2]∪X1[3]202、所述浅层残差单元按如下公式分别对X1[2]和X1[3]进行卷积和残差连接处理：S3×3(X1[2])＝LeakyRELU(C3×3(X1[2])+X1[2])S3×3(X1[3])＝LeakyRELU(C5×5(X1[3])+X1[3])其中：C3×3(
·
)和C5×5(
·
)分别表示卷积核为3
×
3和5
×
5的卷积层；203、所述多分支残差层按照如下公式对X1[2]和X1[3]经过浅层残差单元处理后的结果在通道维度上进行拼接生成中间特征MM＝Concat(S3×3(X1[2])，S5×5(X1[3]))其中Concat(
·
,
·
)表示通道上的拼接操作；204、所述多分支残差层按照如下公式对中间特征M进行通道混合操作
[7]
和1
×
1的卷积层特征融合生成第一次融合特征F，F＝C1×1(Shuffle(M))其中：Shuffle(
·
)表示通道混合操作；将1
×
1的卷积层记为C1×1(
·
)；205、所述多分支残差层通过如下公式将融合特征F与第一级特征X1相加得到第二级特征X2，X2＝X1+F206、重复上述步骤201～205对第二级特征X2在通道维度进行分割生成三部分独立特征X2＝X2[1]∪X2[2]∪X2[3]，X2[2]和X2[3]经过浅层残差单元生成第三级特征X3；207、重复上述步骤201～205对第三级特征X3在通道维度进行分割生成三部分独立特征X3＝X3[1]∪X3[2]∪X3[3]，X3[2]和X4[3]经过浅层残差单元生成第四级特征X4；；
208、所述多分支残差层按照如下公式将{X1[1],X2[1],X3[1],X4}在通道维度上进行拼接，并再次通过1
×
1的卷积层进行特征融合生成第二次融合特征Y，Y＝C1×1(Concat(X1[1],X2[1],X3[1],X4))209、所述多分支残差层按照如下公式将第一级特征X1与第二次融合特征Y再次进行通道维度的拼接获得最终特征O，O＝Concat(X1,Y)。4.根据权利要求1所述的基于闪光灯线索和卷积神经网络的图像复原系统，其特征在于：所述优化训练模块获得优化去反射神经网络所用的代价函数为...

【专利技术属性】
技术研发人员：李岳楠，史泽涛，
申请(专利权)人：天津大学，
类型：发明
国别省市：