【技术实现步骤摘要】
本专利技术涉及图像增强领域，具体为一种基于retinex理论的双分支低照度图像增强方法。
技术介绍
1、当今目前，计算机视觉任务在目标检测、语义分割和自动驾驶等领域取得了显著进展，然而，这些进展大多建立在光照良好的白天场景基础上，在光线不足、背光等条件下所获取或拍摄的图像通常伴随着对比度低、噪声高、色彩偏移、颜色失真模糊等常见问题，严重影响了检测和识别等计算机视觉系统的有效性，因此，研究低照度环境下图像的增强具有重要理论意义和应用价值。
2、传统的低照度图像增强方法有基于直方图均衡的增强和基于retinex理论的增强，直方图均衡化(histogram equalization，he)主要是通过重新分配图像的像素值，使得图像的直方图变得更加均匀，从而增强图像的对比度，以此获得更好的可视性，例如，全局直方图均衡化、自适应直方图均衡化等，这种方法快速有效，不需要额外的参数，但其常常伴随着曝光过度或不足，图像中噪点的强度增强，较高的计算成本等问题，retinex理论将一幅图像看作是由照明分量和反射分量两部分组成，并认为物体自身所固有不变的反射分量是图像的内在固有属性，通过对照明分量进行增强，以得到相应的正常光图像，例如单尺度retinex(ssr)、多尺度retinex(msr)和基于颜色恢复的retinex(msrcr)算法等，虽然以上方法在对图像增强、颜色还原和细节保留方面有很好的提升，但容易出现噪声和颜色偏差等问题，与直接学习正常光图像的增强方法相比，基于深度的retinex理论的低照度图像增强方法具有较好的可解释性，
技术实现思路
1、本专利技术的目的在于提供一种基于retinex理论的双分支低照度图像增强方法，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，一种基于retinex理论的双分支低照度图像增强方法，包括如下步骤：
3、步骤s1，基于retinex理论使用分解网络获得光照分量和反射分量，并通过增强网络对反射分量去噪和光照增强；
4、步骤s2，通过并联不同扩张率的空洞卷积对输入的低照度图像进行初始化特征提取，并通过迭代学习模块中的增强单元与u-net网络对初始化的图像进行更深层次的特征提取；
5、步骤s3，通过融合单元获取校正后的照明图，并在三次迭代学习后将得出的照明图与反射分量进行融合，得到最终的增强图像。
6、优选的：所述步骤s1分解网络获得光照分量和反射分量过程是用3×3的卷积对低照度图像图像进行特征提取，使用ca注意力对特征图中的特征信息按照坐标分配不同权重，进行两次通道上的去噪操作，通过使用两个3×3卷积和两个relu对上一阶段的浅层特征进行更深层次的特征提取，并使用se注意力对特征图的通道进行权重分配来估测每个通道中的噪声水平，使用残差结构对调整过的特征进行多次融合，使用一个残差块和一个3×3卷积分解出反射分量和照明分量。
7、优选的：所述步骤s1反射分量去噪和光照增强过程为首先经过3×3的卷积进行初步特征提取，通过se注意力对各个通道中存在的噪声再次进行评估并分配相对应的权重，其次，经过3次由2个conv+relu层和1个se注意力组成的迭代学习机制对得到的特征图进行更深层次的特征提取，随后经过1个conv+relu层和一个3×3的卷积输出最终降噪后的图像。
8、优选的：所述步骤s2初始化特征提取将空洞卷积的扩张率设置为1、2、4和8，且多尺度空洞卷积整个计算过程为：
9、xc＝conv3×3(x0)
10、x1＝conv3×3([dcd＝1(xc)；dcd＝2(xc)；dcd＝4(xc)；dcd＝8(xc)])
11、xout＝x0+x1
12、其中，dc代表空洞卷积，d代表扩张率。
13、优选的：所述步骤s2更深层次的特征提取通过基于全卷积策略的u-net模块进行，具体为：给定一个输入特征x，首先经过dconv进行特征提取，再使用avgpool2d和maxpool2d获取细节信息，然后进行全连接并用sigmoid激活函数将其归一化的0-1的区间，之后乘以原始输入进行特征融合得到特征图x1，随后，同时在通道维度进行最大池化和平均池化，将其进行拼接后通过卷积加sigmoid归一化后乘以特征图x1得到特征图x2，最后，将原始输入与特征图x2进行相加，实现融合局部和全局的特征信息，整个计算过程如下所示：
14、xc＝conv3×3(x0)+conv3×3(conv3×3(x0))+conv3×3(conv3×3(conv3×3(x0)))
15、x1＝conv3×3(xc)
16、
17、
18、xout＝x0+x3
19、其中，fc和σ表示全连接与sigmoid激活函数。
20、优选的：所述步骤s2和s3迭代学习模块包括特征增强单元和特征校正单元，具体过程为：将通过多尺度空洞卷积模块的特征图d0输入到特征增强单元，得到增强后的特征图d1与输入图像d0进行哈达玛积运算，其结果dt作为下一阶段特征融合单元的输入，特征融合单元的输入由特征增强单元输出的结果dt与u-net特征提取模块的结果ut组成，它们在维度上进行拼接并通过se注意力发送到校正单元，特征融合单元的输出记为st，将输入图像d0与st相加得到的结果作为下一阶段增强单元的输入，并参与整个循环，两个单元在整个训练过程是共享参数的，最终得到一个清晰收敛的增强图像。
21、优选的：所述特征增强单元包括初始层conv+relu、中间层conv+batchnormal+relu和conv+sigmoid层，计算过程如下所示：
22、xc＝conv3×3(d0)
23、x1＝bn(conv3×3(xc))
24、x2＝xc+x1
25、dt＝σ(conv3×3(x2))+d0
26、其中，bn与σ分别表示batchnormal与sigmoid激活函数。
27、优选的：所述特征融合模块的输入由u-net特征提取模块与特征增强单元共同组成，且特征融合模块包括初始层conv+relu+se、两层conv+batchnorm+relu、由3个conv+batchnorm+relu堆叠组成的网络结构以及conv+sigmoid使输出在0-1的范围内，具体过程为将dt、ut通过卷积层进行特征提取，并在通道维度上进行拼接得到融合的结果xt，随后通过se注意力对其通道进行权重分配并将处理后的结果输入到纠正单元，通过两层conv+batchnorm+relu对xt进行规范化操作，之后通过3次迭代学习对xt进行自适应修正，将修正后的结果st通过sigmoid激活本文档来自技高网...
【技术保护点】
1.一种基于Retinex理论的双分支低照度图像增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于Retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤S1分解网络获得光照分量和反射分量过程是用3×3的卷积对低照度图像图像进行特征提取，使用CA注意力对特征图中的特征信息按照坐标分配不同权重，进行两次通道上的去噪操作，通过使用两个3×3卷积和两个ReLU对上一阶段的浅层特征进行更深层次的特征提取，并使用SE注意力对特征图的通道进行权重分配来估测每个通道中的噪声水平，使用残差结构对调整过的特征进行多次融合，使用一个残差块和一个3×3卷积分解出反射分量和照明分量。
3.根据权利要求2所述的一种基于Retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤S1反射分量去噪和光照增强过程为首先经过3×3的卷积进行初步特征提取，通过SE注意力对各个通道中存在的噪声再次进行评估并分配相对应的权重，其次，经过3次由2个Conv+ReLU层和1个SE注意力组成的迭代学习机制对得到的特征图进行更深层次的特征提取，随后经过1个Conv+R
4.根据权利要求3所述的一种基于Retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤S2初始化特征提取将空洞卷积的扩张率设置为1、2、4和8，且多尺度空洞卷积整个计算过程为：
5.根据权利要求4所述的一种基于Retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤S2更深层次的特征提取通过基于全卷积策略的U-Net模块进行，具体为：给定一个输入特征X，首先经过Dconv进行特征提取，再使用AvgPool2d和MaxPool2d获取细节信息，然后进行全连接并用Sigmoid激活函数将其归一化的0-1的区间，之后乘以原始输入进行特征融合得到特征图X1，随后，同时在通道维度进行最大池化和平均池化，将其进行拼接后通过卷积加Sigmoid归一化后乘以特征图X1得到特征图X2，最后，将原始输入与特征图X2进行相加，实现融合局部和全局的特征信息，整个计算过程如下所示：
6.根据权利要求5所述的一种基于Retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤S2和S3迭代学习模块包括特征增强单元和特征校正单元，具体过程为：将通过多尺度空洞卷积模块的特征图D0输入到特征增强单元，得到增强后的特征图D1与输入图像D0进行哈达玛积运算，其结果Dt作为下一阶段特征融合单元的输入，特征融合单元的输入由特征增强单元输出的结果Dt与U-Net特征提取模块的结果Ut组成，它们在维度上进行拼接并通过SE注意力发送到校正单元，特征融合单元的输出记为St，将输入图像D0与St相加得到的结果作为下一阶段增强单元的输入，并参与整个循环，两个单元在整个训练过程是共享参数的，最终得到一个清晰收敛的增强图像。
7.根据权利要求6所述的一种基于Retinex理论的双分支低照度图像增强方法，其特征在于：所述特征增强单元包括初始层Conv+ReLU、中间层Conv+BatchNormal+ReLU和Conv+Sigmoid层，计算过程如下所示：
8.根据权利要求7所述的一种基于Retinex理论的双分支低照度图像增强方法，其特征在于：所述特征融合模块的输入由U-Net特征提取模块与特征增强单元共同组成，且特征融合模块包括初始层Conv+ReLU+SE、两层Conv+BatchNorm+ReLU、由3个Conv+BatchNorm+ReLU堆叠组成的网络结构以及Conv+Sigmoid使输出在0-1的范围内，具体过程为将Dt、Ut通过卷积层进行特征提取，并在通道维度上进行拼接得到融合的结果Xt，随后通过SE注意力对其通道进行权重分配并将处理后的结果输入到纠正单元，通过两层Conv+BatchNorm+ReLU对Xt进行规范化操作，之后通过3次迭代学习对Xt进行自适应修正，将修正后的结果St通过Sigmoid激活函数归一化到0-1区间，作为下一阶段特征增强单元的输入，其计算过程如下所示：
...【技术特征摘要】
1.一种基于retinex理论的双分支低照度图像增强方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤s1分解网络获得光照分量和反射分量过程是用3×3的卷积对低照度图像图像进行特征提取，使用ca注意力对特征图中的特征信息按照坐标分配不同权重，进行两次通道上的去噪操作，通过使用两个3×3卷积和两个relu对上一阶段的浅层特征进行更深层次的特征提取，并使用se注意力对特征图的通道进行权重分配来估测每个通道中的噪声水平，使用残差结构对调整过的特征进行多次融合，使用一个残差块和一个3×3卷积分解出反射分量和照明分量。
3.根据权利要求2所述的一种基于retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤s1反射分量去噪和光照增强过程为首先经过3×3的卷积进行初步特征提取，通过se注意力对各个通道中存在的噪声再次进行评估并分配相对应的权重，其次，经过3次由2个conv+relu层和1个se注意力组成的迭代学习机制对得到的特征图进行更深层次的特征提取，随后经过1个conv+relu层和一个3×3的卷积输出最终降噪后的图像。
4.根据权利要求3所述的一种基于retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤s2初始化特征提取将空洞卷积的扩张率设置为1、2、4和8，且多尺度空洞卷积整个计算过程为：
5.根据权利要求4所述的一种基于retinex理论的双分支低照度图像增强方法，其特征在于：所述步骤s2更深层次的特征提取通过基于全卷积策略的u-net模块进行，具体为：给定一个输入特征x，首先经过dconv进行特征提取，再使用avgpool2d和maxpool2d获取细节信息，然后进行全连接并用sigmoid激活函数将其归一化的0-1的区间，之后乘以原始输入进行特征融合得到特征图x1，随后，同时在通道维度进行最大池化和平均池化，将其进行拼接后通过卷积加sigmoid归一化后乘以特征图x1得到特...
【专利技术属性】
技术研发人员：杨建柏，尹沫涵，季伟东，韩颖，施宇航，
申请(专利权)人：哈尔滨师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。