【技术实现步骤摘要】
本专利技术涉及图像处理，具体地说是涉及一种基于双边网格和显著性引导的逆光图像增强方法。
技术介绍
1、在逆光条件下，普通摄影者很难获得光影正常的高质量图像。逆光拍摄的图像往往具有黑暗的前景和过曝的背景，不仅影响视觉效果，还会降低其他高级计算机视觉任务的性能，例如图像识别、目标检测、目标跟踪等。
2、图像增强是计算机视觉领域的一个重要研究方向，由于曝光分布极度不均，逆光图像增强任务比一般的图像增强任务更具挑战性。现有的逆光图像增强方法大致可以分为三类：基于分割的方法、基于融合的方法和基于深度学习的方法。基于分割的方法试图将图像分割为前景区域和背景区域两部分，并使用不同的色调映射函数对不同的区域分别进行增强处理，然而，由于该方法严重依赖于分割结果的好坏，所以在复杂场景中很不稳定，同时容易生成不自然的边缘。基于融合的方法通常在不同的函数空间中处理逆光图像，然后将处理结果进行融合，但手动设计的约束和参数限制了这些方法在多变的真实场景中的广泛应用。由于缺乏大规模逆光图像数据集，基于深度学习的逆光图像增强方法较少。
技术实现思路
1、基于上述技术问题，本专利技术提出一种基于双边网格和显著性引导的逆光图像增强方法。
2、本专利技术所采用的技术解决方案是：
3、一种基于双边网格和显著性引导的逆光图像增强方法，包括以下步骤：
4、s1、收集逆光图像和相对应的正常光图像，构建逆光图像增强数据集；
5、s2、构建逆光图像增强模型，逆光图像增强模
6、s3、将提取到的逆光图像的低级特征输入到嵌套的u型结构中来提取局部显著性信息和全局光照信息；
7、s4、将获得的局部显著性信息和全局光照信息存储到三维双边网格中；
8、s5、对输入到逆光图像增强模型的逆光图像进行非线性变换得到引导图；
9、s6、在引导图的引导下，对三维双边网格进行上采样，并将采样后结果应用到输入的逆光图像上，得到增强后的高分辨率的正常光图像；
10、s7、以数据集中正常光图像为标签，定义逆光图像增强模型的约束，通过最小化该约束对逆光图像增强模型进行训练，来学习模型参数；
11、s8、通过加载步骤s7训练后的逆光图像增强模型，能够快速实现任意分辨率的逆光图像到正常光图像的增强。
12、优选的，步骤s1中：使用拍摄设备，在多种场景中收集逆光图像，并通过修图软件获得每张逆光图像对应的正常光图像，从而构建逆光图像增强数据集。
13、优选的，步骤s2中：将输入逆光图像增强模型的任意分辨率的逆光图像下采样到384×384；通过四层卷积神经网络提取逆光图像的低级特征。
14、优选的，步骤s3中：将逆光图像中的逆光区域作为显著性区域，设计了一个嵌套的u型结构来感知逆光图像的显著性信息和全局光照信息；该嵌套的u型结构包含三部分：语义感知模块、光照获取模块和融合调整模块；语义感知模块、光照获取模块和融合调整模块共同构成一个大的对称的u型结构，同时，语义感知模块、光照获取模块和融合调整模块本身也采用对称的u型结构。
15、更加优选的，上述步骤s3具体包括以下过程：
16、s31、将提取的逆光图像的低级特征输入到语义感知模块中，语义感知模块的网络结构由一个输入层、一个对称的编码器-解码器结构和一个残差连接组成；其中，输入层为一个卷积核大小为3×3的卷积层，编码器-解码器结构中的编码器通过使用多个卷积层和池化层逐渐降低输入图像的尺寸，编码器-解码器结构中的解码器则通过使用多个上采样和卷积操作逐渐恢复图像的尺寸，并在每个阶段将编码器相应层的特征图与解码器相应层的特征图进行融合；最后，通过残差连接将输入层提取的局部特征与编码器-解码器结构提取的多尺度特征进行融合；
17、s32、将语义感知模块提取的特征传递至光照获取模块，光照获取模块的结构是在编码器的最后一层添加了最大池化层和全局平均池化层；
18、s33、将语义感知模块和光照获取模块的输出共同输入到融合调整模块中，融合调整模块采用和语义感知模块相同的网络结构，融合步骤s31和步骤s32提取的语义信息和光照信息，对逆光区域和正常光照区域进行不同程度的曝光调整。
19、优选的，步骤s4中：所获得的局部显著性信息和全局光照信息以仿射变换系数的形式存储在三维的双边网格中，其中，x轴和y轴表示位置信息，z轴表示强度信息。
20、优选的，步骤s5中：使用单层神经网络对输入到逆光图像增强模型的逆光图像进行非线性变换，以得到包含边缘信息的的高分辨率引导图g，用于引导双边网格的上采样过程；
21、该引导图为单通道的灰度图，具体计算过程如下：
22、
23、其中，x和y分别表示图像的横纵坐标，c表示通道的索引，m表示颜色变换矩阵，b和b′表示偏置项，ρc代表relu函数，m，b和b′的值均由网络模型训练得到。
24、优选的，步骤s6中：在引导图的引导下，通过对存储在三维双边网格中的仿射变换系数a的强度域和空间域进行三线性插值，得到一组二维的高分辨率的仿射变换系数图具体定义为：
25、
26、其中，i,j,k分别表示三维网格在x轴、y轴和z轴的坐标；m表示通道的索引，τ(·)＝max(1-|·|,0)表示线性插值核函数，sx和sy为双边网格尺寸与输入图像尺寸的宽高比，d为双边网格的深度；将上采样后的仿射变换系数应用到原图i上，得到增强后的光照正常的图像具体定义为：
27、
28、其中，ni表示输入图像的通道个数。
29、优选的，步骤s7中：定义待优化的逆光图像增强模型约束l＝lbacklit+lperceptual；
30、融合了逆光图像的光照分布先验，使得模型更加关注逆光区域的恢复；
31、其中i表示模型输入图像，表示模型输出图像，g表示输入图像的标签，i为图像中每一个像素的下标，n为图像总体像素个数，exp(λ·|ii-gi|)项能够加强模型对欠曝的逆光区域的监督，λ为权重参数；
32、其为感知约束；通过最小化上述约束对逆光图像增强模型进行训练，不断更新模型参数。
33、本专利技术的有益技术效果是：
34、本专利技术提供一种基于双边网格和显著性引导的逆光图像增强方法，该方法通过嵌套的u型深度卷积神经网络提取丰富的语义信息和空间信息，在恢复逆光区域亮度的同时不破坏图像整体的自然性与和谐性，同时引入双边网格来学习输入图像到输出图像的仿射变换，在不产生伪影的情况下快速处理任意分辨率图像。
35、本专利技术弥补了基于分割的逆光图像增强方法难以处理复杂场景、多阶段、效率低的缺点，克服了基于融合的逆光图像增强方法泛化能力差的问题。通过将显著性目标检测的思想引入逆光图像增强任务中，利用双边网格结构存储仿射变换系数，将逆光图像本文档来自技高网...
【技术保护点】
1.一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤S1中：使用拍摄设备，在多种场景中收集逆光图像，并通过修图软件获得每张逆光图像对应的正常光图像，从而构建逆光图像增强数据集。
3.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤S2中：将输入逆光图像增强模型的任意分辨率的逆光图像下采样到384×384；通过四层卷积神经网络提取逆光图像的低级特征。
4.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤S3中：将逆光图像中的逆光区域作为显著性区域，设计了一个嵌套的U型结构来感知逆光图像的显著性信息和全局光照信息；该嵌套的U型结构包含三部分：语义感知模块、光照获取模块和融合调整模块；语义感知模块、光照获取模块和融合调整模块共同构成一个大的对称的U型结构，同时，语义感知模块、光照获取模块和融合调整模块本身也采用对称的U型结构。
5.根据权利要求4所述的一种
6.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤S4中：所获得的局部显著性信息和全局光照信息以仿射变换系数的形式存储在三维的双边网格中，其中，x轴和y轴表示位置信息，z轴表示强度信息。
7.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤S5中：使用单层神经网络对输入到逆光图像增强模型的逆光图像进行非线性变换，以得到包含边缘信息的的高分辨率引导图g，用于引导双边网格的上采样过程；
8.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤S6中：在引导图的引导下，通过对存储在三维双边网格中的仿射变换系数A的强度域和空间域进行三线性插值，得到一组二维的高分辨率的仿射变换系数图具体定义为：
9.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤S7中：定义待优化的逆光图像增强模型约束L＝Lbacklit+Lperceptual；
...【技术特征摘要】
1.一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤s1中：使用拍摄设备，在多种场景中收集逆光图像，并通过修图软件获得每张逆光图像对应的正常光图像，从而构建逆光图像增强数据集。
3.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤s2中：将输入逆光图像增强模型的任意分辨率的逆光图像下采样到384×384；通过四层卷积神经网络提取逆光图像的低级特征。
4.根据权利要求1所述的一种基于双边网格和显著性引导的逆光图像增强方法，其特征在于，步骤s3中：将逆光图像中的逆光区域作为显著性区域，设计了一个嵌套的u型结构来感知逆光图像的显著性信息和全局光照信息；该嵌套的u型结构包含三部分：语义感知模块、光照获取模块和融合调整模块；语义感知模块、光照获取模块和融合调整模块共同构成一个大的对称的u型结构，同时，语义感知模块、光照获取模块和融合调整模块本身也采用对称的u型结构。
5.根据权利要求4所述的一种...
【专利技术属性】
技术研发人员：鲍明松，孙洪秀，李希彬，段立夫，王忠刚，
申请(专利权)人：山东国兴智能科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。