【技术实现步骤摘要】
本专利技术涉及一种低光图像增强方法，属于图像处理。
技术介绍
1、低光图像：受到复杂照明影响而产生的光线不足的图像；正常光参考图像：正常曝光情况下的图像。
2、目前，已经有许多基于retinex理论的卷积神经网络模型被开发出来，大多数现有方法都基于分解-反射增强-亮度恢复这样的多阶训练模式。但是在分解和增强的独立过程中，存在着一些明显的问题。首先，在分解过程中，已有方法往往将正常光参考图像的反射图和光照图作为伪标签来进行模型训练，但无法保证这就是真实的反射图和光照图。因此，基于retinex理论的分解网络具有一定的局限性。按照色彩恒常性理论，正常光参考图像和低光图像的反射图都应该保持一致，而在多解问题的求解下，如果正常光参考图像和低光图像的反射图并不完全一致，分解网络单独对反射和光照分支进行分解，这样会遗留部分信息在光照图中，进一步放大光照图的细节差异，导致纹理处的光照恢复不理想。
3、如图1所示展示了分解过程中反射图的纹理细节差异，从上到下分别表示低光图像和正常光参考图像，从左到右为分别为经过retinex-net后的反射图，光照图及原始图像。理想情况下，第一列的反射图应该完全一致，模型需要学习的仅是第一行第二列的低光光照图到第二行第二列的正常光参考光照图的分布映射。可以发现该图的第一列低光图像反射图右下角的花朵处色彩溢出，没有第二列的正常光参考图像反射图明显，说明一部分颜色的像素值渗透到了光照图中，这会给光照恢复带来错误的指导，增加亮度提升的难度。简单来说，这种不完全的分解过程会把一部分低光图像反射图
技术实现思路
1、本专利技术的主要目的在于提出一种低光图像增强方法，减少低光图像增强算法中产生的噪声和不自然的伪影，提高低光图像增强的鲁棒性。
2、为达上述目的，本专利技术其中一方面提出以下技术方案：
3、一种低光图像增强方法，包括如下步骤：s1、利用分解网络将原始低光图像及对应的正常光参考图像都分别分解为反射图与光照图，得到低光图像反射图、低光图像光照图、参考图像反射图和参考图像光照图；s2、利用所述低光图像反射图与所述参考图像反射图，计算互信息最大化的对比学习损失函数，实现对所述低光图像反射图的细节增强；s3、将所述低光图像光照图分别与所述原始低光图像、增强后的低光图像反射图在高维空间进行光照对齐，得到第一对齐结果和第二对齐结果；将第一对齐结果和第二对齐结果拼接后，利用基于空洞密集残差连接块的光照恢复网络，恢复出低光图像。
4、进一步地，步骤s1中所述分解网络利用重建损失函数、光照平滑约束和反射一致损失进行约束。
5、进一步地，所述重建损失函数为：
6、
7、其中，sl表示所述原始低光图像，rl表示所述低光图像反射图，il表示所述低光图像光照图，sh表示所述正常光参考图像，rh表示所述参考图像反射图，ih表示所述参考图像光照图；
8、所述反射一致损失为：
9、ler＝||rl-rh||1
10、所述光照平滑约束为：
11、
12、其中，代表图像水平方向和竖直方向的梯度之和，λg代表反射图的权重大小；
13、所述分解网络的整体损失函数为：
14、ldecomnet＝lre+ωerler+ωislis
15、其中，ωer、ωis分别表示反射一致损失和光照平滑约束的权重。
16、进一步地，步骤s2包括：
17、s21、分别对所述低光图像反射图和所述参考图像反射图进行局部特征提取，得到目标区域、正样本和负样本的特征向量；其中，目标区域是从所述低光图像反射图中随机采集的第一区域，正样本是所述参考图像反射图中对应于所述目标区域的第二区域，负样本是所述低光图像反射图中目标区域以外的第三区域；其中，正样本为1对，负样本为n对；
18、s22、利用下述公式计算所述对比学习损失函数：
19、
20、其中，v、v+、v-分别为所述目标区域、所述正样本、所述负样本的特征向量，τ为比例系数；
21、s23、在对比学习优化过程中，利用所述对比学习损失函数，迫使网络参数朝着正样本对的互信息变大而负样本对的互信息变小的方向更新移动。
22、进一步地，步骤s3包括：
23、s31、分别提取所述原始低光图像、所述低光图像光照图和所述增强后的低光图像反射图的高维特征图；
24、s32、对所述原始低光图像的高维特征图和所述低光图像光照图的高维特征图进行动态卷积，得到所述第一对齐结果；对所述低光图像光照图的高维特征图和所述增强后的低光图像反射图的高维特征图进行动态卷积，得到所述第二对齐结果；
25、s33、将所述第一对齐结果和所述第二对齐结果拼接后，送入由多个空洞密集残差连接块构成的所述光照恢复网络中，恢复出所述低光图像。
26、本专利技术的另一方面还提出一种用于实现前述低光图像增强方法的系统，包括分解网络、基于对比学习的分解增强模块和光照恢复模块；所述分解网络用于将原始低光图像及对应的正常光参考图像都分别分解为反射图与光照图，得到低光图像反射图、低光图像光照图、参考图像反射图和参考图像光照图；所述分解增强模块用于根据所述低光图像反射图与所述参考图像反射图，计算互信息最大化的对比学习损失函数，实现对所述低光图像反射图的细节增强；所述光照恢复模块包括对齐网络和基于空洞密集残差连接块的光照恢复网络，所述对齐网络用于将所述低光图像光照图分别与所述原始低光图像、增强后的低光图像反射图在高维空间进行光照对齐，得到第一对齐结果和第二对齐结果；所述光照恢复网络以第一对齐结果和第二对齐结果的拼接作为输入，恢复出低光图像。
27、进一步地，所述分解网络包括六个卷积层，除第一个和最后一个卷积层外，其余四个卷积层均后接relu激活函数，最后一个卷积层的输出端连接sigmoid函数进行归一化，确保输出的像素值范围。
28、进一步地，所述分解增强模块包括局部特征提取网络、对比学习网络和损失函数计算网络；所述局部特征提取网络为预训练的vgg16网络；所述对比学习网络连接于所述局部特征提取网络的输出端，包括依次连接的两个mlp层；所述损失函数计算网络用于根据所述对比学习网络的输出，计算对比学习infonce损失函数。
29、进一步地，所述对齐网络包括高维特征提取网络和动态卷积层；
30、所述高维特征提取网络用于分别提取所述原始低光图像、所述低光图像光照图和所述增强后的低光图像反射图的高维特征图；所述动态卷积层用于对所述原始低光图像的高维特征图和所述低光图像光照图的高维特征图进行动态卷积，得到所述第一对齐结果；以及，对所述低光图像光照图的高维特征图和所述增强后的低光图像反射图的高维特征图进行动态卷积，得到所述第二对齐结果。
31、进一步地，所述光照恢复网络包本文档来自技高网...
【技术保护点】
1.一种低光图像增强方法，其特征在于，包括如下步骤：
2.如权利要求1所述的低光图像增强方法，其特征在于：步骤S1中所述分解网络利用重建损失函数、光照平滑约束和反射一致损失进行约束。
3.如权利要求2所述的低光图像增强方法，其特征在于：
4.如权利要求1所述的低光图像增强方法，其特征在于，步骤S2包括：
5.如权利要求1所述的低光图像增强方法，其特征在于，步骤S3包括：
6.一种用于实现权利要求1-5任一项所述低光图像增强方法的系统，其特征在于：包括分解网络、基于对比学习的分解增强模块和光照恢复模块；
7.如权利要求6所述的系统，其特征在于：所述分解网络包括六个卷积层，除第一个和最后一个卷积层外，其余四个卷积层均后接ReLU激活函数，最后一个卷积层的输出端连接Sigmoid函数进行归一化，确保输出的像素值范围。
8.如权利要求6所述的系统，其特征在于：所述分解增强模块包括局部特征提取网络、对比学习网络和损失函数计算网络；所述局部特征提取网络为预训练的VGG16网络；所述对比学习网络连接于所述局部特
9.如权利要求6所述的系统，其特征在于：所述对齐网络包括高维特征提取网络和动态卷积层；
10.如权利要求9所述的系统，其特征在于：所述光照恢复网络包括三个空洞密集残差连接块，其中所述高维特征提取网络输出的所述原始低光图像的高维特征图、所述低光图像光照图的高维特征图与所述增强后的低光图像反射图还融合到最后一个空洞密集残差连接块的输出端进行全局残差融合，恢复出所述低光图像。
...【技术特征摘要】
1.一种低光图像增强方法，其特征在于，包括如下步骤：
2.如权利要求1所述的低光图像增强方法，其特征在于：步骤s1中所述分解网络利用重建损失函数、光照平滑约束和反射一致损失进行约束。
3.如权利要求2所述的低光图像增强方法，其特征在于：
4.如权利要求1所述的低光图像增强方法，其特征在于，步骤s2包括：
5.如权利要求1所述的低光图像增强方法，其特征在于，步骤s3包括：
6.一种用于实现权利要求1-5任一项所述低光图像增强方法的系统，其特征在于：包括分解网络、基于对比学习的分解增强模块和光照恢复模块；
7.如权利要求6所述的系统，其特征在于：所述分解网络包括六个卷积层，除第一个和最后一个卷积层外，其余四个卷积层均后接relu激活函数，最后一个卷积层的输出端连接sigmoid函数进行归...
【专利技术属性】
技术研发人员：杨文明，郑文先，阮俊翔，廖庆敏，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。