一种低光条件去反射方法、系统、电子设备和存储介质技术方案

本发明专利技术公开了一种低光条件去反射方法、系统、电子设备和存储介质，所述方法包括以下步骤：首先利用低光条件下反射图像的特点合成低光条件反射图像数据集，并获取真实世界的低光反射图像数据集；然后，将合成的低光反射图像作为训练图像I，与对应的光照注意力图一起输入到低光条件去反射模型中，经过光照增强模块和去反射模块的处理得到正常光反射层估计图像R'和正常光背景层估计图像T'，通过反向传播算法训练网络，得到训练好的低光条件去反射模型；将真实世界中的低光反射图像输入至训练好的低光条件去反射模型中，得到对应的正常光反射层估计图像R'和正常光背景层估计图像T'。射层估计图像R'和正常光背景层估计图像T'。射层估计图像R'和正常光背景层估计图像T'。

【技术实现步骤摘要】
一种低光条件去反射方法、系统、电子设备和存储介质


[0001]本专利技术涉及数字图像复原
，特别涉及了一种低光条件去反射方法、系统、电子设备和存储介质。

技术介绍

[0002]计算机视觉技术近年来迅猛发展，广泛应用于自动驾驶、无人机等领域，为科技创新和人类生活改善做出了突出贡献。通过摄像头拍摄的照片，计算机可以“看见”世界，并通过大量的训练学习照片中的信息，从而做出判断和输出，模仿人类对外界的视觉感知能力。然而，这种视觉感知能力的模拟对输入图像数据的质量有很高的要求。如果图像中存在反射、雨滴等遮挡物，或者图像拍摄时光线不足、曝光不良等因素，都会导致图像质量下降，给计算机的运算和训练带来巨大挑战。更严重的是，在实际应用场景中使用这些低质量的图像作为输入，可能会引发安全风险，给用户造成极大危害。例如，在夜间自动驾驶时，如果输入给计算机的路况图像是低光并且有反射现象的，就会影响相关目标检测模型的运行效果，进而影响系统对路况的判断。因此，有效处理低光、反射等问题影响下的图像是推动视觉应用发展和进步的重要课题。
[0003]近几年图像去反射领域的研究发展迅速，许多基于深度学习的图像去反射方法被提了出来。Fan等人(Q.Fan,J.Yang,G.Hua,B.Chen,and D.P.Wipf,“A generic deep architecture for single image reflection removal and image smoothing.”in IEEE International Conference on ComputerVision,2017.)首次利用深度神经网络设计了去反射模型，它首先回归生成背景层的边缘图，然后重新构建背景层。Wei等人(K.Wei,J.Yang,Y.Fu,“Single image reflection removal exploiting misaligned training data and network enhancements.”in IEEE Conference on Computer Vision and Pattern Recognition,2019)在Fan等人的研究基础上改进了网络结构，在网络中加入了上下文信息，且模型在对齐和非对齐数据中均可训练。Yang等人(J.Yang,D.Gong,L.Liu,Q.Shi,“Seeingdeeply and bidirectionally:A deep learning approach for single image reflection removal.”in European Conference on ComputerVision,2018.)提出了一种顺序估计两层的多级网络，其中前一阶段预测的反射层作为辅助信息，以指导下一阶段的传输层重构。Li等人(C.Li,Y.Yang,K.He,“Single image reflection removal through cascaded refinement.”in IEEE Conference on Computer Vision and Pattern Recognition,2020.)提出的层级优化网络结构，是一种基于长短期记忆的循环网络，实现了图像信息的跨级传递。Lei等人(C.Lei,Q.Chen,“Robust Reflection Removalwith Reflection
‑
free Flash
‑
only Cues.”in IEEE Conference on ComputerVision and Pattern Recognition,2021.)提出利用闪光图像来完成去反射工作，通过减法原理和物理光学原理可以得到去除环境光后只有闪光的图像，为图像去反射工作提供了新的思路。Dong等人(Z.Dong,K.Xu,Y.Yang,“Location
‑
aware Single Image Reflection Removal.”in IEEE International Conference on ComputerVision,2021.)
最近提出基于位置感知的图像去反射模型，利用拉普拉斯核参数强调反射边界，运用反射检测模块来回归预测概率反射置信度图，提升了去反射结果的质量。这些方法更多地关注如何消除正常光照下的强反射，而对低光条件下的一些弱反射研究较少。
[0004]针对低光照图像增强问题，现有的深度学习方法主要依赖于配对训练，其中大多数低光图像是用正常光图像合成的。Lore等人(K.G.Lore,A.Akintayo,S.Sarkar,“Llnet:A deep autoencoder approach to natural low
‑
lightimage enhancement.”In Pattern Recognition,2017.)提出了一种堆叠式自动编码器来学习补丁级别的联合去噪和低光增强，它是第一个真正意义上将深度学习应用在图像增强上的网络。Wei等人(C.Wei,W.Wang,W.Yang,“Deep retinex decomposition for low
‑
light enhancement.”arXivpreprint arXiv:1808.04560,2018.)中的Retinex
‑
Net提供了一个端到端的框架来结合Retinex理论和深度网络，包括了用于分解的网络和用于照明增强的增强网络。Gharbi等人(M.Gharbi,J.Chen,J.T.Barron,“Deep bilateral learning for real
‑
time image enhancement.”in ACM Transactions on Graphics(TOG),2017.)将深度网络与双边网格处理和局部仿射颜色变换与成对监督相结合，训练卷积神经网络来预测双边空间中局部仿射模型的系数。Chen等人(C.Chen,Q.Chen,J.Xu,“Learningto see in the dark.”arXiv preprint arXiv:1805.01934,2018.)提出了一种直接使用原始传感器数据的模型，并替代了大量的传统图像处理流程，更侧重于通过学习颜色转换、去马赛克和去噪的管道来避免低光增强期间的伪影放大，由该模型训练得到的视觉效果让人印象深刻。

技术实现思路

[0005]针对现有技术中的对低光条件去反射研究的空缺和不足，本专利技术提供一种低光条件去反射方法、系统、电子设备和存储介质，利用了反射图像和反射层估计图像的信息，实现了低光条件去反射的目的。
[0006]为实现上述目的，本专利技术提供以下技术方案：
[0007]第一方面，本专利技术提供低光条件去反射方法，其包括以下步骤：
[0008]生成第一反射图像数据集，所述第一反射图像数据集包含第一反射图像，所述第一反射图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种低光条件去反射方法，其特征在于，包括以下步骤：生成第一反射图像数据集，所述第一反射图像数据集包含第一反射图像，所述第一反射图像生成自第一光照条件下的反射层图像和背景层图像，和/或，第二光照条件下的反射层图像和背景层图像，所述第一光照条件弱于所述第二光照条件；利用所述第一反射图像数据集生成对应的第一光照注意力图；生成低光条件去反射模型，将所述第一反射图像数据集和所述第一光照注意力图输入到所述低光条件去反射模型，所述低光条件去反射模型包括光照增强模块和去反射模块，经过所述光照增强模块和所述去反射模块处理后得到反射层图像估计和正常光背景层图像，通过反向传播算法训练所述低光条件去反射模型，得到训练好的所述低光条件去反射模型；获取第二反射图像数据集，利用所述第二反射图像数据集生成对应的第二光照注意力图，将所述第二反射图像数据集和所述第二光照注意力图输入到所述低光条件去反射模型，得到正常光反射层图像和正常光背景层图像。2.根据权利要求1所述的低光条件去反射方法，其特征在于，所述生成第一反射图像数据集的方法，具体包括以下步骤：获取背景层图像T和反射层图像R；分别将反射层图像R和背景层图像T的各颜色通道数值归一化为0到1区间；用高斯滤波器模糊处理反射层图像R得到新反射层图像将背景层图像T和新反射层图像进行矩阵叠加设叠加后的图像中超出RGB色彩范围的值的平均值m；根据公式得到新反射层图像值，γ为调整系数；通过裁剪操作将新反射层图像中的各颜色通道数值限制到0到1区间；将背景层图像T和新反射层进行矩阵叠加并通过裁剪操作将图像的各通道数值限制到0到1区间，从而得到所述第一反射图像，上述第一反射图像数据集则由多张上述第一反射图像组成。3.根据权利要求2所述的低光条件去反射方法，其特征在于，调整所述第一反射图像数据集中光照亮度的方法，具体包括以下步骤：对获得的所述第一反射图像用高斯滤波器模糊处理，并应用阈值化方法筛选出明亮的区域；设所述明亮的区域的中心坐标为圆心，随机选取半径长度和光照强度，生成过渡平滑的照度图；根据所述照度图通过随机光照法调整所述第一反射图像中的光照亮度。4.根据权利要求1所述的低光条件去反射方法，其特征在于，所述光照增强模块中，输入大小为W
×
H
×
3的第一反射图像及对应的光照注意力图，利用五个由核大小为3
×
3的卷积层、激活函数LealyReLU和归一化层组成的卷积块进行特征提取，每个卷积块之间由下采样层连接，下采样层由2
×
2池化核的平均池化层构成；将下采样层输出的第一反射图像编码输入到五个由核大小为3
×
3的反卷积层、激活函数LeakyReLU和归一化层组成的反卷积
块中进行特征恢复，每个反卷积块间的上采样通过倍数为2的双线性插值进行；卷积块和反卷积块之间设置错层跳跃连接，把所有上层卷积块的特征下采样后与本层特征拼接，乘上光照注意力图后加到与本层对应的反卷积块中；最终得到的特征图与光照注意力图相乘后与输入相加输出大小为W
×
H
×
3的光照增强后的正常光反射图像I'。5.根据权利要求1所述的低光条件去反射方法，其特征在于，所述去反射模块中，设正常光反射图像I'的特征记为F
I'
，反射层图像的特征记为F
R'
，背景层图像的特征记为F
T'
，所述去反射模块中设有多个编码器和解码器，多个编码器用于提取光照增强模块中所得的正常光反射图像I'的多尺度特征，其中，编码器对图像进行核大小为3
×
3的卷积操作并使用激活函数ReLU，同时提取VGG19模型选定层的特征并进行归一化，每层编码器之间的下采样操作由2
×
2池化核的最大池化层构成；最底层的反射层图像的特征F
R'
与对应层的正常光反射图像的特征F
I'
拼接，其余三层的反射层图像的特征F
R'
则同时与对应层的正常光反射图像的特征F
I'
、背景层图像的特征F
T'
拼接，利用卷积层、激活函数Sigmoid和激活函数ReLU、3
×
3池化核的平均池化来计算掩码，以指...

【专利技术属性】
技术研发人员：黄艳，罗惠心，全宇晖，许勇，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：