一种基于噪声注意力图指导的微光图像增强方法技术

本发明专利技术公开了一种基于噪声注意力图指导的微光图像增强方法，步骤包括：步骤1、构建噪声估计模块，该噪声估计模块的输入为原始微光图像，大小为H*W*3；该噪声估计模块的输出是大小为H*W*1的特征图；步骤2、构建增强网络模块，该增强网络模块的输入数据是步骤1的输出特征与原始微光图像，大小为H*W*4；该增强网络模块的输出是增强后的图像，大小为H*W*3；增强网络模块包含了编码器、ResidualBlock以及解码器。本发明专利技术的方法，可以有效对单张微光图像进行增强，在噪声注意力图指导下拥有良好的去噪性能，且不会出现颜色失真以及能保留原图纹理细节，在不同数据集上具有很好的泛化能力。在不同数据集上具有很好的泛化能力。在不同数据集上具有很好的泛化能力。

【技术实现步骤摘要】
一种基于噪声注意力图指导的微光图像增强方法


[0001]本专利技术属于图像处理
，具体属于RGB真彩色图像恢复技术，涉及一种基于噪声注意力图指导的微光图像增强方法。

技术介绍

[0002]当今，图像可以提供大量的动态信息，通过图像传递信息在人们生活中扮演越来越重要的角色。在微光条件下获取的图像具有低对比度，低亮度以及低信噪比的“三低特性”，严重限制了图像内容的识别和判读；同时也会影响后续的图像处理任务，如图像分割、目标识别和视频监控等。尽管通过延长摄像机的曝光时间可以在一定程度上提高图像亮度，但在此期间易产生大量的图像噪声，因此，如何提高在微光环境下获取到的图像的质量，是计算机视觉领域近年来一个研究热点。
[0003]早期微光图像增强方法主要基于直方图均衡化(HE)和Retinex理论。HE图像增强是以累计分布函数为基础的直方图修改方法，将图像直方图调整为均衡分布以拉伸图像动态范围，从而提高图像对比度；该类方法操作简单、效率高，但生成的图像易受伪影影响、真实感不强。而基于视网膜理论方法试图通过将输入图像分解为反射分量和照明分量来照亮图像，反射分量是场景的固有属性，而照明分量受环境照度的影响；基于视网膜理论方法通常增强微光图像的照明分量，以近似对应的正常光图像。模型中的参数需人工设定，无法自适应处理图像的多样性，并且针对较高噪声的图像处理效果较差，存在局部细节曝光不足或曝光过度等情况。伴随着人工智能理论的快速发展，近年来基于深度学习的微光图像增强算法陆续提出。尽管，基于深度学习的方法一定程度上弥补了传统方法的不足，对某一类图像集取得较好的增强效果，但是大多数深度学习微光增强方法严重依赖于数据集质量，且多假定暗光区域没有噪声，或者不考虑噪声在不同照明区域的分布。
[0004]实际上，以上先验知识与真实图像存在偏差，且完备的现实图像数据集获取难度大，这些都导致现有深度学习模型不能有效地抑制真实图像噪声，难以产生令人满意的视觉质量。

技术实现思路

[0005]本专利技术的目的是提供一种基于噪声注意力图指导的微光图像增强方法，解决了现有技术中存在的微光图像低可见度、噪声污染严重的问题。
[0006]本专利技术所采用的技术方案是，一种基于噪声注意力图指导的微光图像增强方法，按照以下步骤具体实施：
[0007]步骤1、构建噪声估计模块，该噪声估计模块的输入为原始微光图像，大小为H*W*3；该噪声估计模块的输出是大小为H*W*1的特征图；
[0008]步骤2、构建增强网络模块，该增强网络模块的输入数据是步骤1的输出特征与原始微光图像，大小为H*W*4；该增强网络模块的输出是增强后的图像，大小为H*W*3；
[0009]增强网络模块包含了编码器、Residual Block以及解码器，编码器在噪声注意力
图指导下提取图像的浅层特征；Residual Block在编码器的基础上继续提取图像深层特征，为图像恢复提供有效的高级语义信息；解码器是在语义信息中恢复高分辨率图像，并进行通道压缩，输出增强结果。
[0010]本专利技术的有益效果是，能够有效的将微光图像恢复到正常光照条件下获取的图像，并有效去除图像中的噪声。本专利技术能够有效对单张微光图像进行增强，在噪声注意力图指导下拥有良好的去噪性能，且不会出现颜色失真以及能保留原图纹理细节，在不同数据集上具有很好的泛化能力。
附图说明
[0011]图1是本专利技术方法的流程框图；
[0012]图2是本专利技术方法中构建的噪声估计模块的结构流程图；
[0013]图3是本专利技术方法中构建的编码器的结构流程图；
[0014]图4是本专利技术方法中构建的Residual Block的结构流程图；
[0015]图5是本专利技术方法中构建的解码器的结构流程图。
具体实施方式
[0016]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0017]本专利技术主要基于噪声注意力图指导增强网络而提出的一种微光图像增强方法，整体思路为：首先，将原始微光图像输入噪声估计模块，噪声估计模块利用空间注意力机制有效地学习空间位置权重以聚焦原始微光图像不同区域中不同程度的噪声。将噪声估计模块得到的空间噪声位置权重和原始微光图像共同作为增强网络的输入，噪声估计模块得到的空间噪声位置权重用于指导增强网络更有效的去除图像中的噪声。增强网络在空间噪声位置权重图的指导下，对图像进行特征提取并恢复图像，并输出增强后的结果。
[0018]参照图1，本专利技术的方法基于噪声注意力图指导增强网络的微光图像增强网络(以下简称为网络)，由噪声估计模块、增强网络模块组成。噪声估计模块利用空间注意力机制，将图像空间信息通过空间转换模型变换到另一个空间中提取关键位置信息，为每个位置生成权重掩码加权输出，从而将图像数据中噪声特征标记出来，为增强网络模块提供更有效的噪声信息。增强网络模块包含了编码器、3个Residual Block以及解码器，编码器以原始微光图像和噪声注意力图作为输入，在噪声注意力图的指导下提取图像的浅层特征。3个Residual Block用于提取图像深层特征，解码器采用反卷积将提取的语义信息恢复高分辨率图像，并输出增强结果。
[0019]本专利技术的方法，利用上述的网络框架及原理，按照以下步骤具体实施：
[0020]步骤1、构建噪声估计模块，该噪声估计模块的输入为原始微光图像，大小为H*W*3；该噪声估计模块的输出是大小为H*W*1的特征图。
[0021]参照图2，噪声估计模块主要作用就是对原始图像利用空间注意力机制，以权重的形式将图像数据中噪声特征标记出来。噪声估计模块的结构依次为：原始微光图像(Input_image)作为输入图像
→
Avg Polling层(将Avg Polling层得到的特征图复制成3等份，每1等份分别输入不同的Conv分支中)
→
Conv分支层(包含3个相同结构的Conv分支)
→
Softmax层(将Conv1分支与Conv2分支的像素级相加，并采用Softmax函数激活)
→
Conv层(将
Softmax层输出与Conv3分支的像素级相加，并进行卷积)
→
Interpolate层
→
输出特征。
[0022]其中，Avg Polling层为全局平均池化运算，用于增大感受野，便于获取更多的信息，卷积核大小为2*2，卷积步长为2，特征映射总数为3个；3个Conv分支层均为卷积运算，获取三个代表不同信息的特征图，卷积核大小均为3*3，卷积步长均为1，特征映射总数均为32个；Softmax层为Softmax激活函数；Conv层为卷积运算，卷积核大小为3*3，卷积步长为1，特征映射总数为1个；Interpolate层为线性插值运算，将图像特征尺寸通过线性插值恢复至H*W。
[0023]步骤2、构建增强网络模块，该增强网络模块的输入数据是步骤1的输出特征与原始微光图像，大小为H*W*本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于噪声注意力图指导的微光图像增强方法，其特征在于，按照以下步骤具体实施：步骤1、构建噪声估计模块，该噪声估计模块的输入为原始微光图像，大小为H*W*3；该噪声估计模块的输出是大小为H*W*1的特征图；步骤2、构建增强网络模块，该增强网络模块的输入数据是步骤1的输出特征与原始微光图像，大小为H*W*4；该增强网络模块的输出是增强后的图像，大小为H*W*3；增强网络模块包含了编码器、Residual Block以及解码器，编码器在噪声注意力图指导下提取图像的浅层特征；Residual Block在编码器的基础上继续提取图像深层特征，为图像恢复提供有效的高级语义信息；解码器是在语义信息中恢复高分辨率图像，并进行通道压缩，输出增强结果。2.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤1中，噪声估计模块的结构依次为：原始微光图像作为输入图像
→
Avg Polling层
→
Conv分支层
→
Softmax层
→
Conv层
→
Interpolate层
→
输出特征，其中，Avg Polling层为全局平均池化运算，卷积核大小为2*2，卷积步长为2，特征映射总数为3个；3个Conv分支层均为卷积运算，获取三个代表不同信息的特征图，卷积核大小均为3*3，卷积步长均为1，特征映射总数均为32个；Softmax层为Softmax激活函数；Conv层为卷积运算，卷积核大小为3*3，卷积步长为1，特征映射总数为1个；Interpolate层为线性插值运算，将图像特征尺寸通过线性插值恢复至H*W。3.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤2中，编码器的输入数据是步骤1的输出特征与原始微光图像，大小为H*W*4；编码器的输出的是提取的浅层图像特征，大小为H/6*W/6*128；编码器的结构依次为：原始微光图像和步骤1的输出特征共同作为输入
→
Conv1层
→
Conv2层
→
Conv3层
→
输出特征；其中，Conv1层、Conv2层、Conv3层均为卷积运算，卷积核大小均为3*3，卷积步长均为2，特征映射总数分别为32、64、128个。4.根据权利要求1所述的基于噪声注意力图指导的微光图像增强方法，其特征在于：所述的步骤2中，Residual Block的输入数据是编码器的输出特征，大小为H/6*W/6*128；Residual Block的输出是提取的深层图像特征，大小为H/6*W/6*128；Residual Block的结构依次为：编码器的输出特征作为输入
→
BN层
→
ReLU层
→
第一个Conv层
→
BN层
→
ReLU层
→
第二个Conv层
→
输出特征；其中，BN层为利用批量归一化函数对输入特征进行了归一化处理；ReLU层为激活函数处理；两个Conv层均为卷积运算，卷积核大小均为3*...

【专利技术属性】
技术研发人员：孙帮勇，赵兴运，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：