深度卷积注意力和多尺度特征融合的低光图像增强方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及一种深度卷积注意力和多尺度特征融合的低光图像增强方法。本发明专利技术设计了一种新的低光注意力模块和一个多尺度特征补偿模块，LLAB由低光多头自注意力模块、双分支均衡模块和两个归一化层组成，低光多头自注意力模块被设计用来提取不同通道的语义信息，并通过计算通道间的注意力图来均衡不同通道间的特征权重，从而提升图像的能见度和对比度；双分支均衡模块进一步提升图像的对比度；提出了多尺度特征补偿模块用于弥补图像在低光注意力模块和下采样阶段细节信息的丢失，并融合不同尺度图像的深层空间信息。最终经过实验，本发明专利技术的方法能够得到视觉效果较好的图像。觉效果较好的图像。觉效果较好的图像。

【技术实现步骤摘要】
深度卷积注意力和多尺度特征融合的低光图像增强方法


[0001]本专利技术涉及图像处理
，尤其涉及一种深度卷积注意力和多尺度特征融合的低光图像增强方法。

技术介绍

[0002]高质量的图像可以提高模型对一些高级计算机视觉任务(如目标检测、图像分类、语义分割等)的准确性。为了获得尽可能高质量的图像，大量研究人员进行了许多不同的尝试。比如，在拍摄图像时增大光圈和延长曝光时间，然而，这不仅要求拍摄者具有专业的摄影技术，而且拍摄得到的图像也很难完全避免噪声的存在。
[0003]基于上述情况，一些研究者尝试使用算法去解决低光图像存在的问题。但这些方法依然存在一些问题。例如灰度变换方法：该方法是通过数学函数将图像的像素值直接转换为其他数值的方法，这种方法通过映射改变图像的像素值和范围，从而达到增强图像的目的。这种方法速度快，且实现简单。但是这种方法没有考虑到图像像素值的整体分布，所以这类方法的增强效果有限，在某些低光图像中表现较差。直方图均衡化方法：HE方法使用了cumulative distribution function来对低光图像的像素值进行调整，从而输出灰度级。这类方法可以方法图像中的细节，能提高图像的清晰度。并且随着发展，现有的大量算法融合了HE方法，这让基于HE方法的算法能较好的提高图像的对比度和细节。然而，这类算法会导致图像的保真度下降、产生大量噪声和导致图像失真。基于Retinex理论的方法：基于该理论，低光图像增强方法将低光图像分解成反射分量和照度分量，并常常把照度分量假设为低光增强的结果。这类方法不仅可以提高图像的对比度和亮度，而且在图像细节处理方面具有明显的优势。但是基于Retinex的模型常常忽略了噪声，因此增强后的图像会存在很多的噪声。并且增强后的图像伪影和色彩的扭曲。
[0004]近年来，随着计算机技术的发展，深度学习在图像去噪、图像检测、图像超分辨和图像去雾(image dehazing)等领域都取得了显著的成效。同时，在低光图像增强领域，科研工作者们也提出了大量的深度学习算法。其中利用注意力机制和多阶段的方法盛行，这些方法中有部分网络模型增强后的图像具有较好的视觉效果。但是更多的算法却存在着不足。其中：(1)在使用注意力机制之前进行了池化操作，这减少了图像的特征，在图像的细节恢复方面存在缺陷；(2)多阶段方法虽然可以提取得到图像更深层次的特征，但是多阶段结构也会导致图像细节信息的丢失，抑制了图像的修复。并且这些方法会导致图像出现伪影、光晕和颜色偏差等问题。
[0005]为此，我们提出了本专利技术的一种深度卷积注意力和多尺度特征融合的低光图像增强方法。

技术实现思路

[0006]本专利技术的目的是提供一种深度卷积注意力和多尺度特征融合的低光图像增强方法，用于解决现有低光图像增强方法存在的噪声、光晕和失真等问题。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]本专利技术提供一种深度卷积注意力和多尺度特征融合的低光图像增强方法，其特征在于：所述方法包括以下步骤：
[0009]构建配对的数据集，所述数据集包括低光照图像和正常光照图像，每张低光照图像对应同一场景的正常光照图像；
[0010]以正常光照图像为参考图像，通过Embedding模块，提取低光照图像的浅层特征；
[0011]将所述浅层特征输入DAMFFN编码器中，所述DAMFFN编码器包括LLAB模块、下采样模块和MSFCB模块；所述LLAB模块包括LL
‑
MSAB模块和DBWEB模块；
[0012]通过LL
‑
MSAB模块，提取低光照图像的语义信息，并均衡不同通道间的特征权重；
[0013]通过DBWEB模块，提高低光照图像的对比度；
[0014]通过MSFCB模块，修复图像质量，补偿丢失的细节信息；
[0015]在DAMFFN解码器中，通过多尺度频域损失函数减小增强图像和参考图像在频域空间上的差异；
[0016]输出最终增强的低光图像。
[0017]进一步地，所述embedding模块使用一个卷积模块将低光照图像的通道数从3增加至48。
[0018]进一步地，图2所示的LL
‑
MSAB模块能提取低光照图像的语义信息，并能均衡不同通道间的特征权重以提升图像的能见度。其特征在于：
[0019]使用深度卷积提取出不同通道的语义信息和局部特征；
[0020]将提取后的特征矩阵直接赋值给Q,K和V，通道注意力机制通过提取全局特征计算得到通道注意力图，即使用Q和K提取得到通道注意力图；
[0021]最后，将V乘以通道注意力图得到LL
‑
MSAB模块的输出结果。
[0022]图2所示LL
‑
MSAB模块的详细处理过程包括：
[0023](1)X
input
被输入到3x3深度卷积层，以隐式建模通道内像素之间的局部关系，经过3x3深度卷积层处理得到X，并X直接赋值给X
Q
、X
K
和X
V
。然后，将X
Q
、X
K
和X
V
分别重塑为Q、K和V。所以实际上Q、K和V是三个一样的特征矩阵。表示如下：
[0024]X
Q
＝X
input
W
Q
,X
K
＝X
input
W
K
,X
V
＝X
input
W
V
[0025]W
Q
＝W
K
＝W
V
，X
Q
＝X
K
＝X
V
＝X
[0026]Q＝Reshape(X
Q
),K＝Reshape(X
K
),V＝Reshape(X
V
)
[0027]Q＝K＝V
[0028]X
input
表示LL
‑
MSAB模块的输入特征矩阵，W
Q
、W
K
和W
V
表示3x3深度卷积层的权重矩阵，Reshape(
·
)表示重塑操作。
[0029](2)由于计算能力的限制，本专利技术将Q(Q＝[Q1，...，Q
N
])，K(K＝[K1，...，K
N
])和V(V＝[V1，...，V
N
])分成了N个head
j
，其中每一个head
j
的通道维度为dim
h
＝C/N(C表示特征矩阵的通道总数)。LL
‑
MSAB需要计算每一个head
j
的通道注意力图Atten
j
。表示如下：
...

【技术保护点】

【技术特征摘要】
1.一种深度卷积注意力和多尺度特征融合的低光图像增强方法，其特征在于：所述方法包括以下步骤：构建配对的数据集，所述数据集包括低光照图像和正常光照图像，每张低光照图像对应同一场景的正常光照图像；以正常光照图像为参考图像，通过Embedding模块，提取低光照图像的浅层特征；将所述浅层特征输入DAMFFN编码器中，所述DAMFFN编码器包括LLAB模块、下采样模块和MSFCB模块；所述LLAB模块包括LL
‑
MSAB模块和DBWEB模块；通过LL
‑
MSAB模块，提取低光照图像的语义信息，并均衡不同通道间的特征权重，以提升图像的能见度；通过DBWEB模块，提高低光照图像的对比度；通过MSFCB模块，修复图像质量，补偿丢失的细节信息；在DAMFFN解码器中，通过多尺度频域损失函数减小增强图像和参考图像在频域空间上的差异；输出最终增强的低光图像。2.根据权利要求1所述的一种深度卷积注意力和多尺度特征融合的低光图像增强方法，其特征在于：所述embedding模块使用一个卷积模块将低光照图像的通道数从3增加至48。3.根据权利要求1所述的一种深度卷积注意力和多尺度特征融合的低光图像增强方法，其特征在于，所述通过LL
‑
MSAB模块，提取低光照图像的语义信息，并均衡不同通道间的特征权重，以提升图像的能见度，包括：浅层特征X
input
被输入到3x3深度卷积层以提取图像语义信息，以隐式建模通道内像素之间的局部关系，得到X，将所述X直接赋值给X
Q
、X
K
和X
V
；将X
Q
、X
K
和X
V
分别重塑为三个一样的特征矩阵Q、K和V，表示如下：X
Q
＝X
input
W
Q
，X
K
＝X
input
W
K
，X
V
＝X
input
W
V
W
Q
＝W
K
＝W
V
，X
Q
＝XK＝XV＝XQ＝Reshape(X
Q
)，K＝Reshape(X
K
)，V＝Reshape(X
V
)Q＝K＝VX
input
表示LL
‑
MSAB模块的输入特征矩阵，W
Q
、W
K
和W
V
表示3x3深度卷积层的权重矩阵，Reshape(
·
)表示重塑操作；将Q(Q＝[Q1，...，Q
N
])，K(K＝[K1，...，K
N
])和V(V＝[V1，...，V<...

【专利技术属性】
技术研发人员：王勇，袁鑫林，李彦，陈瑜，李邑灵，崔修涛，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：