一种基于多尺度双通道注意力网络的低光图像增强方法技术

本发明专利技术公开一种基于多尺度双通道注意力网络的低光图像增强方法，包括：构建训练集；所述训练集包括：低光图像和高光图像；利用所述训练集对预设的多尺度双通道注意力低光增强网络（MDANet）进行训练；预设的多尺度双通道注意力低光增强网络包括：多尺度特征提取和融合(MFEF)模块、双通道注意力特征增强(DAFE)模块；对所述低光图像进行预处理后，输入训练后的所述多尺度双通道注意力低光增强网络，完成低光图像增强。本发明专利技术通过堆叠多个多尺度特征提取和融合模块，实现自顶向下的特征提取和自底向上的特征融合，并取得极好的低光增强效果。果。果。

【技术实现步骤摘要】
一种基于多尺度双通道注意力网络的低光图像增强方法


[0001]本专利技术属于低光图像增强领域，尤其涉及一种基于多尺度双通道注意力网络的低光图像增强方法。

技术介绍

[0002]低光照图像增强的目的是突出关键信息，尽可能地排除干扰信息，将原来不清晰或者亮度较低的图像变得清晰或者增强亮度。低光照图像增强算法主要分为传统的低光照图像增强算法以及基于深度学习的低光照图像增强算法。目前常见的低光照图像增强方法包括色调映射算法，直方图均衡化算法，伽马修正算法，基于Retinex分解的算法等。色调映射算法通过映射函数处理图像的像素点来提升对比度与亮度。直方图均衡化算法通过改变图像的直方图来改变图像中各像素的灰度，增强动态范围偏小的图像的对比度。伽马修正算法是一种通过对图像的伽玛曲线进行编辑，实现对图像进行非线性色调编辑的方法。基于Retinex理论的低亮度图片增强算法，通常把图片分解为亮度分量和反射分量，通过将增强后的亮度分量与反射分量融合实现图像增强。尽管传统算法对低光图像有一定的增强效果，但其效果仍受限于手工特征和人工定义的增强规格，在适应各种低光条件和复杂场景时具有极大的局限性。
[0003]自2017年Kin等人提出将深度学习用于低光增强的方法LLNet并取得令人惊讶的效果后，越来越多的研究人员加入其中。LLNet通过堆叠多个去噪自动编码器的方式提取图像特征，并适当增强图片亮度。受PS中亮度调整曲线的启发，Guo等人将低光增强视为图像特定曲线估计任务，提出Zero
‑
DEC。EnligthenGAN是基于GAN设计的将U
‑
Net网络作为backbone的无监督增强网络，它加入了Self
‑
Regularized Attention，同时引入了全局
‑
局部判别器来平衡全局和局部微光增强。RetinexNet是基于Retinex图像分解理论卷积神经网络模型，它分为分解、调整和重建模型三部分。分解模型实现的是反射分量和光照分量的分解，调整模型是对低光照图像的反射分量进行噪声抑制及其光照分量的校正，重建模型根据处理后的反射分量和光照分量恢复出正常光照图像。TBEFN是一个双分支曝光融合网络，它分别在两个基于U
‑
Net的不同结构分支分别处理轻度和严重退化的图像，然后利用自适应注意力将分支的输出融合为最终结果。MIRNet是基于空间注意力和通道注意力的多尺度特征聚合网络，可以学习到来自多个尺度的上下文信息，同时保留高分辨率的空间细节。MIRNet使用对偶注意单元(dual
‑
attention units)捕获空间和通道维度的上下文信息，并利用并行的多分辨率卷积流进行定期重复的跨多分辨率的信息交换，在信息聚合时MIRNet引入了一种利用自注意机制对多种分辨率的融合特征进行非线性处理的过程。MIRNet
‑
V2是MIRNet的改进版，它将原来的对偶注意单元(dual
‑
attention units)替换为同样基于注意力的残差上下文块(RCB)。SMNet是同步多尺度低光增强网络，重点集成局部和全局两个方面，以同步的方式学习多尺度表示。SMNet提出一个基于注意力的全局特征重新校准模块在同步多尺度表示后获取全局亮度信息。
[0004]在各种低光增强任务中，将多尺度特征学习网络和注意力机制结合起来的低光图
像增强方法取得了目前最好的效果。但是当前尚未很好解决的问题包括：1）目前大多数多尺度方法利用定期重复的特征融合、信息交换模块实现噪音抑制和特征增强，但是这种机制使模型参数量极大增加，使网络规模变得复杂庞大。2）目前最好的低光增强方法的增强图像仍存在噪音大、细节模糊和色彩退化问题。本专利技术针对的是低光图像增强这个特定领域内的上述问题，这些问题阻碍了这个领域的发展，急需解决。

技术实现思路

[0005]为解决上述技术问题，本专利技术提出一种基于多尺度双通道注意力网络的低光图像增强方法。它是由多尺度特征提取融合模块（MFEF）和双通道注意力特征增强模块（DAFE）组成的多尺度双通道注意力低光增强网络，称其为MDANet。与现有的多尺度特征学习架构不同，基于编码器
‑
解码器结构的MFEF中较高分辨率的分支直接融合包含丰富上下文信息的低分辨率特征之后再通过DAFE。为了再次融合特征和交换信息，最高分辨率分支还会连接底层所有分支并再次通过DAFE。该方法不但显著降低了网络参数规模，而且可以克服因为卷积核大小的限制而无法感受全局信息的困难。DAFE由双通道注意力和多层卷积块组成，它通过调整特征图的通道权重提高对图像中不同通道的重要信息的关注度，并通过后续的多层卷积块进一步过滤噪音和强化特征。
[0006]本专利技术提供一种基于多尺度双通道注意力网络的低光图像增强方法，包括：构建训练集；所述训练集包括：成对的低光图像和高光图像；利用所述训练集对预设的多尺度双通道注意力低光增强网络进行训练；预设的多尺度双通道注意力低光增强网络包括：多尺度特征提取和融合模块、双通道注意力特征增强模块；将所述低光图像输入训练后的所述多尺度双通道注意力低光增强网络，完成低光图像增强。
[0007]可选地，对预设的多尺度双通道注意力低光增强网络进行训练前包括：对所述低光图像进行预处理；对所述低光图像进行预处理，包括：对所述低光图像进行最大池化操作，分离出所述低光图像中的光照分量；将所述光照分量与所述低光图像进行拼接，获取原始输入；通过若干层卷积块将所述光照分量和所述原始输入进行初步融合，获取输入数据。
[0008]可选地，将所述光照分量和所述原始输入进行初步融合包括：使用卷积核为3
×
3的卷积层将所述原始输入从低维映射到高维；利用卷积核为3
×
3和1
×
1的卷积块，将映射到高维后的所述原始输入，进行降维处理，实现信息交换和融合；利用卷积核为3
×
3和1
×
1的卷积块，将降维处理后的所述原始输入，进行升维处理，实现进一步信息交换和融合；将升高通道数处理后的所述原始输入与所述信息交换和融合后的输入逐位相加建立残差连接，获得所述输入数据。
[0009]可选地，对预设的多尺度双通道注意力低光增强网络进行训练包括：
对所述训练集中的低光图像进行预处理，获取输入数据；将所述输入数据通过三个所述多尺度特征提取和融合模块，在每个所述多尺度特征提取和融合模块中，进行两次下采样操作，获取特征图，再自下而上将所述特征图融合；其中，所述特征图包括：高分辨特征图、中分辨特征图和低分辨特征图；每个多尺度特征提取和融合模块中，将所述低分辨率特征图经过所述双通道注意力特征增强模块后与所述中分辨率特征图逐位相加；将相加后的所述中分辨率特征图经过所述双通道注意力特征增强模块后与所述高分辨率特征图逐位相加；相加后的所述高分辨率特征图经过所述双通道注意力特征增强模块后与增强后的所述低分辨率特征图和中分辨率特征图串联拼接；拼接后的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，包括：构建训练集；所述训练集包括：成对的低光图像和高光图像；利用所述训练集对预设的多尺度双通道注意力低光增强网络进行训练；预设的多尺度双通道注意力低光增强网络包括：多尺度特征提取和融合模块、双通道注意力特征增强模块；将所述低光图像输入训练后的所述多尺度双通道注意力低光增强网络，完成低光图像增强。2.根据权利要求1所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，对预设的多尺度双通道注意力低光增强网络进行训练前包括：对所述低光图像进行预处理；对所述低光图像进行预处理，包括：对所述低光图像进行最大池化操作，分离出所述低光图像中的光照分量；将所述光照分量与所述低光图像进行拼接，获取原始输入；通过若干层卷积块将所述光照分量和所述原始输入进行初步融合，获取输入数据。3.根据权利要求2所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，将所述光照分量和所述原始输入进行初步融合包括：使用卷积核为3
×
3的卷积层将所述原始输入从低维映射到高维；利用卷积核为3
×
3和1
×
1的卷积块，将映射到高维后的所述原始输入，进行降维处理，实现信息交换和融合；利用卷积核为3
×
3和1
×
1的卷积块，将降维处理后的所述原始输入，进行升维处理，实现进一步信息交换和融合；将升高通道数处理后的所述原始输入与所述信息交换和融合后的输入逐位相加建立残差连接，获得所述输入数据。4.根据权利要求2所述的基于多尺度双通道注意力网络的低光图像增强方法，其特征在于，对预设的多尺度双通道注意力低光增强网络进行训练包括：对所述训练集中的低光图像进行预处理，获取输入数据；将所述输入数据通过三个所述多尺度特征提取和融合模块，在每个所述多尺度特征提取和融合模块中，进行两次下采样操作，获取特征图，再自下而上将所述特征图融合；其中，所述特征图包括：高分辨率特征图、中分辨率特征图和低分辨率特征图；每个多尺度特征提取和融合模块中，将所述低分辨率特征图经过所述双通道注意力特征增强模块后与所述中分辨率特征图逐位相加；将相加后的所述中分辨率特征图经过所述双通道注意力特征增强模块后与所述高分辨率特征图逐位相加；相加后的所述高分辨率特征图经过所述双通道注意力特征增强模块后与...

【专利技术属性】
技术研发人员：龙舜，廖芳婷，王会进，朱蔚恒，
申请(专利权)人：暨南大学，
类型：发明
国别省市：