一种能同时平衡上下文信息和空间细节的低光图像增强方法技术

本发明专利技术公开了一种能同时平衡上下文信息和空间细节的低光图像增强方法，涉及图像处理技术领域。本发明专利技术利用CIRNet子网络和SIRNet子网络恢复图像的上下文信息和空间细节，利用上下文

【技术实现步骤摘要】
一种能同时平衡上下文信息和空间细节的低光图像增强方法


[0001]本专利技术属于图像处理
，特别是涉及一种能同时平衡上下文信息和空间细节的低光图像增强方法。

技术介绍

[0002]日常生活中，图像质量被外部因素直接或间接的影响，低光照也是众多不可抗力的因素之一，在光照不足的环境中拍摄的图像往往出现亮度低、噪声严重等情况，这不仅大大降低了图像的视觉质量，而且会影响后续高级视觉任务的执行，例如图像识别、图像分割和图像分类等任务。
[0003]为增强低光照环境下拍摄的图像，一些传统图像增强算法被用来恢复低光照图像的内容和细节，但这些方法依然存在一些问题；例如灰度变换方法通过函数映射的方式对图像中的较低的灰度值进行直接拉伸来提升图像亮度，它能增强低光图像的整体对比度，但该方法没有考虑低光图像灰度分布不均匀的情况，恢复出的图像容易丢失细节；
[0004]直方图均衡化方法利用直方图统计处于各个像素值的像素数量并通过均衡像素数量的分布情况来调整图像像素的动态范围，却忽略了对噪声的处理，同时容易产生过曝的现象，传统基于Retinex理论的方法利用高斯核对原始图像进行卷积以预测图像的光照，能够较好的增强图像亮度并保留图像边缘，但在增强部分亮度差异较大的区域的同时会出现光晕现象；
[0005]近年来，随着深度学习在图像处理领域的快速发展，基于深度学习的低光照图像增强算法大量涌现。其中利用多分支网络和多尺度输入图像的方法盛行，这些方法能够有效地增强低光照图像的亮度，然而，由于大部分网络仅采用单分支或多分支的编解码网络或者原始分辨率网络来恢复图像的上下文信息和空间细节，没有考虑这两部分内容的平衡，限制了图像增强的效果；并且这些方法对每个子网络进行监督，这可能会导致聚合时各子网络内容无法较好的匹配，从而进一步扩大差距，出现图像光晕、图像伪影甚至颜色偏移等问题。

技术实现思路

[0006]本专利技术的目的在于提供一种能同时平衡上下文信息和空间细节的低光图像增强方法，以解决上述
技术介绍
中提出的问题。
[0007]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0008]本专利技术为一种能同时平衡上下文信息和空间细节的低光图像增强方法。
[0009]本方法利用CIRNet子网络和SIRNet子网络恢复图像的上下文信息和空间细节，利用上下文
‑
空间特征融合模块融合两部分信息，包括以下步骤：
[0010]S1.构建配对的数据集，所述数据集包括低光照图像和正常光照图像，其中每张低光照图像I
low
对应同一场景的正常光照图像I
ref
；
[0011]S2.输入低光图像I
low
到网络中；
[0012]S3.提取低光图像I
low
的浅层特征；
[0013]S4.CIRNet分支利用多尺度特征学习方式巧妙地提取上下文语义信息，编解码网络包含3个encoder(EB1，EB2和EB3)和3个decoder(DB1，DB2和DB3)。每个编码模块以不同尺度的特征作为输入，每个解码模块输出不同尺度的恢复图像；
[0014]S5.SIRNet分支利用全分辨率子网络保留输入图像到输出图像的点到点位置信息；
[0015]S6.上下文
‑
空间特征融合模块CSFF融合两个分支的输出特征；
[0016]S7.输出最终增强的低光图像。
[0017]进一步地，在S3中，所述浅层特征提取模块使用一个卷积模块和一个通道注意力模块，公式如下：
[0018]f
shallow
＝f
CAB
(f
Conv
(I
low
))。
[0019]进一步地，在S4中，所述CIRNet分支采用UNet
‑
like网络恢复图像的上下文信息，所述encoder和decoder都由两个通道注意力模块组成；
[0020]所述编码阶段由三个encoder组成，第一个encoder以所提取的浅层特征作为输入，其余两个encoder以上一个encoder的输入和Focus模块逐像素下采样的特征作为输入；
[0021]多尺度浅层特征和Focus采样特征通过特征注意模块进行融合后输入到编码器中，
[0022]特征注意模块以两个特征作为输入，将压缩无用信息后的特征输入到一个卷积模块中得到精炼的特征，该精炼后的特征和原始输入特征进行融合得到最后输入到encoder中的特征，公式如下：
[0023][0024][0025]f
concat
＝[f
Focus
,f
shallow
][0026]其中，每个decoder之前通过监督注意模块输出增强的多尺度恢复图像，同时向下一个每个encoder传入当前特征中有用的信息，公式如下：
[0027][0028][0029]进一步地，在S5中，所述SIRNet分支由三个原始分辨率单元组成，每个原始分辨率单元由1个通道注意力模块组成；
[0030]网络中所有特征和输入图像尺寸相同，以恢复输入图像到输出图像的点对点的精细位置关系，公式如下：
[0031][0032][0033]进一步地，在S6中通过初步融合特征经过一个1
×
1卷积层，一个ReLu激活函数层和一个3
×
3卷积层得到精炼的融合特征，该特征分别经过设计好的提取上下文信息的注意力模块和提取空间位置细节的注意力模块，分别经过sigmoid激活函数，得到re
‑
calibrate的特征，通过像素相乘加权到原始特征中以分别精炼原输入特征的上下文信息和空间特
征。
[0034]进一步地，所述上下文
‑
空间特征融合模块主要包括：
[0035]利用像素相加融合初始不同语义内容的特征；
[0036]通过上下文信息注意力模块和空间细节注意力模块对融合特征加权；
[0037]使用加权信息对初始输入特征进行增强。
[0038]进一步地，所述上下文信息注意力模块将融合的特征分别通过全局平均池化层和全局最大池化层进行处理，再通过一个卷积层和激活层得到能注意上下文信息的权重。
[0039]进一步地，所述空间细节注意力模块将融合的特征先后输入到卷积层，激活层和卷积层，得到注意空间细节的权重。
[0040]进一步地，还包括低光增强网络，所述低光增强网络的损失函数如下：
[0041][0042]L
SSIM
＝1
‑
SSIM(I
enhanced
,I
ref
)
[0043][0044]本专利技术具有以下有益效果：
[0045]本专利技术通过上下文
‑
空间特征融合模块，该模块利用编解码网络学习到的多尺度图像语义特征和全分辨率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于，利用CIRNet子网络和SIRNet子网络恢复图像的上下文信息和空间细节，利用上下文
‑
空间特征融合模块融合两部分信息，包括以下步骤：S1.构建配对的数据集，所述数据集包括低光照图像和正常光照图像，其中每张低光照图像I
low
对应同一场景的正常光照图像I
ref
；S2.输入低光图像I
low
到网络中；S3.提取低光图像I
low
的浅层特征；S4.CIRNet分支利用多尺度特征学习方式巧妙地提取上下文语义信息，编解码网络包含3个encoder(EB1，EB2和EB3)和3个decoder(DB1，DB2和DB3)。每个编码模块以不同尺度的特征作为输入，每个解码模块输出不同尺度的恢复图像；S5.SIRNet分支利用全分辨率子网络保留输入图像到输出图像的点到点位置信息；S6.上下文
‑
空间特征融合模块CSFF融合两个分支的输出特征；S7.输出最终增强的低光图像。2.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：在S3中，所述浅层特征提取模块使用一个卷积模块和一个通道注意力模块，公式如下：f
shallow
＝f
CAB
(f
Conv
(I
low
))。3.根据权利要求1所述的一种能同时平衡上下文信息和空间细节的低光图像增强方法，其特征在于：在S4中，所述CIRNet分支采用UNet
‑
like网络恢复图像的上下文信息，所述encoder和decoder都由两个通道注意力模块组成；所述编码阶段由三个encoder组成，第一个encoder以所提取的浅层特征作为输入，其余两个encoder以上一个encoder的输入和Focus模块逐像素下采样的特征作为输入；多尺度浅层特征和Focus采样特征通过特征注意模块进行融合后输入到编码器中，特征注意模块以两个特征作为输入，将压缩无用信息后的特征输入到一个卷积模块中得到精炼的特征，该精炼后的特征和原始输入特征进行融合得到最后输入到encoder中的特征，公式如下：征，公式如下：f
concat
＝[f
Fo...

【专利技术属性】
技术研发人员：王勇，蒋莉君，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：