一种基于循环一致性生成对抗网络的低光图像增强方法技术

本发明专利技术公开了一种基于循环一致性生成对抗网络的低光图像增强方法，该方法利用循环一致性对抗生成网络对低光图像进行修复，并添加了多尺度特征提取与自适应实例归一化方法，显著提高了增强图像的质量和视觉愉悦度；本发明专利技术还引入身份损失和结构一致性作为损失函数的一部分，可以确保增强图像与原始图像的一致性，从而使生成的图像保持空间结构，能更好的满足真实低光场景下图像增强的需求。本发明专利技术采用了深度学习技术和图像处理技术，具有良好的灵活性和适用性，较其他低光图像增强的方法各方面指标都得到了极大的提高，并且具有最佳的颜色增强效果与边缘细节保留。颜色增强效果与边缘细节保留。颜色增强效果与边缘细节保留。

【技术实现步骤摘要】
一种基于循环一致性生成对抗网络的低光图像增强方法


[0001]本专利技术涉及一种基于循环一致性生成对抗网络的低光图像增强方法，属于计算机视觉


技术介绍

[0002]人类获取的绝大多数信息来自视觉。作为视觉信息的主要载体，图像在语义分割、3D重建、自动驾驶、目标检测等方面发挥着重要作用。随着光学和计算机技术的快速发展，图像采集设备不断更新，图像中有许多有价值的信息等待人类发现和获取。然而，在可见光成像过程中，环境光强度往往会影响图像的质量。当环境光较低时，例如在夜间或在黑暗的房间中，采集到的图像具有低对比度、低亮度、缺乏可用性和细节模糊等缺点，这将给目标检测、图像识别和分割等后续任务带来极大的困难。传统的图像增强算法难以直接降低或抑制噪声，甚至可能放大噪声或导致颜色失真。近年来，基于深度学习的方法开始发战，有监督的深度学习方法依赖于成对数据，但是收集具有相同内容和细节但具有不同照明条件的同一场景的两幅图像是不切实际的。无监督的深度学习方法增强图像的对比度差异大，并且通常存在颜色失真和不一致的问题。

技术实现思路

[0003]本专利技术的目的在于提供一种基于循环一致性生成对抗网络的低光图像增强方法，利用循环一致性对抗生成网络对低光图像进行修复，在生成器中添加了多尺度特征提取与自适应实例归一化，显著提高了增强图像的质量和视觉愉悦度。
[0004]为达到上述目的，本专利技术采用以下技术方案：
[0005]本专利技术提供一种基于循环一致性生成对抗网络的低光图像增强方法，包括：
[0006]采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型；
[0007]将待处理的低光图像输入训练好的微光增强模型，得到增强后的图像。
[0008]进一步的，基于U
‑
Net网络构造所述循环一致性生成对抗网络中的生成器，包括：
[0009]多尺度卷积模块，提取输入图像的特征图；
[0010]编码器，将提取的特征图进行压缩；
[0011]转码器，将压缩后的特征图转换为普通光图像；
[0012]解码器，将得到的普通光图像恢复为与输入图像相同分辨率。
[0013]进一步的，采用1
×
1、3
×
3、5
×
5和7
×
7卷积核构造所述多尺度卷积模块，每个卷积模块具有16个通道。
[0014]进一步的，所述编码器包括三个下采样模块，每个下采样模块包括3
×
3卷积块、自适应实例归一化层和激活函数ReLU；其中卷积步长为2。
[0015]进一步的，所述转码器采用六个残差块。
[0016]进一步的，所述解码器由跳层连接和上采样模块组成；
[0017]所述上采样模块包括3
×
3卷积块、自适应实例归一化层和用于将图像大小恢复为与输入相同大小的激活函数ReLU；其中卷积步长为2。
[0018]进一步的，所述采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型，包括：
[0019]获取训练数据集，所述训练数据集包括具有信息相关性的低光图像数据集X和正常光图像数据集Y；
[0020]使用低光图像数据集X和正常光图像数据集Y作为初始数据，分批次向所述循环一致性生成对抗网络中输入一对低光图像和正常光图像；
[0021]构造总损失函数如下：
[0022]L(G,D
A
,X,Y)＝L
GAN
(G,D
A
,X,Y)+L
CYC
(G,D
A
,X,Y)+λL
identity
(G)+τL
MSSIM
(G)；
[0023]其中，L(G,D
A
,X,Y)为总损失，L
GAN
(G,D
A
,X,Y)为对抗损失，L
CYC
(G,D
A
,X,Y)为循环一致性损失，L
identity
(G)为身份损失，L
MSSIM
(G)为结构一致性损失，λ和τ表示身份损失和结构一致性损失的加权参数；
[0024]身份损失和结构一致性损失表示如下：
[0025][0026][0027][0028]其中，x表示低光图像数据集X中的样本，y表示正常光图像数据集Y中的样本，p
data
(x)和p
data
(y)分别表示图像域x和y的样本分布，G(x)表示向生成器G输入低光图像x生成的增强图像，G(y)表示向生成器G输入正常光图像y后得到的增强图像，F(x)表示向生成器F输入低光图像x后得到的增强图像，F(G(x))表示向生成器G输入低光图像x生成增强图像，再输入生成器F得到的低光图像，D
A
是0
‑
1鉴别器，x
j
和y
j
分别是图像x和y的第j个局部块，N是局部块的数量；
[0029]以以下函数为目标进行训练：
[0030][0031]训练过程中，鉴别器被训练为最大化总损失，生成器被训练为最小化总损失；生成器和鉴别器交替更新以进行对抗训练。
[0032]进一步的，训练过程中，将生成的增强图像G(x)进行基于多尺度引导滤波和结构张量的细节增强，包括：
[0033]将增强图像通过圆形均值滤波进行平滑得到基础层：
[0034]W1＝G(x)
k
×
dr；
[0035]其中，W1是多尺度引导滤波细节图像的基础层，G(x)
k
是输入图像，dr是半径为r的圆形平均滤波器；
[0036]从要融合的图像中减去基础层，得到中间层：
[0037]W2＝G(x)
k
‑
G(x)
k
×
dr；
[0038]其中，W2是多尺度引导滤波细节图像的中间层；
[0039]基于圆形平均滤波器减去平滑的中间层，得到细节层：
[0040]W3＝W2‑
W2×
dr；
[0041]其中，W3是多尺度引导滤波细节图像的细节层；
[0042]将三个图像W1、W2和W3进行加权融合得到多尺度引导滤波细节图像W：
[0043]W＝(1
‑
ω1×
sgn(W1))
×
W1+ω2×
W2+ω3×
W3；
[0044]其中，ω1、ω2和ω3是调节参数；
[0045]将多尺度引导滤波细节图像W添加到增强图像G(x)中。
[0046]进一步的，
[0047]所述鉴别器的输出被映射到N
×
N的矩阵；...

【技术保护点】

【技术特征摘要】
1.一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，包括：采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型；将待处理的低光图像输入训练好的微光增强模型，得到增强后的图像。2.根据权利要求1所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，基于U
‑
Net网络构造所述循环一致性生成对抗网络中的生成器，包括：多尺度卷积模块，提取输入图像的特征图；编码器，将提取的特征图进行压缩；转码器，将压缩后的特征图转换为普通光图像；解码器，将得到的普通光图像恢复为与输入图像相同分辨率。3.根据权利要求2所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，采用1
×
1、3
×
3、5
×
5和7
×
7卷积核构造所述多尺度卷积模块，每个卷积模块具有16个通道。4.根据权利要求3所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述编码器包括三个下采样模块，每个下采样模块包括3
×
3卷积块、自适应实例归一化层和激活函数ReLU；其中卷积步长为2。5.根据权利要求4所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述转码器采用六个残差块。6.根据权利要求5所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述解码器由跳层连接和上采样模块组成；所述上采样模块包括3
×
3卷积块、自适应实例归一化层和用于将图像大小恢复为与输入相同大小的激活函数ReLU；其中卷积步长为2。7.根据权利要求2所述的一种基于循环一致性生成对抗网络的低光图像增强方法，其特征在于，所述采用具有信息相关性的低光图像数据集和正常光图像数据集输入基于循环一致性生成对抗网络进行训练，得到训练好的微光增强模型，包括：获取训练数据集，所述训练数据集包括具有信息相关性的低光图像数据集X和正常光图像数据集Y；使用低光图像数据集X和正常光图像数据集Y作为初始数据，分批次向所述循环一致性生成对抗网络中输入一对低光图像和正常光图像；构造总损失函数如下：L(G,D
A
,X,Y)＝L
GAN
(G,D
A
,X,Y)+L
CYC
(G,D
A
,X,Y)+λL
identity
(G)+τL
MSSIM
(G)；其中，L(G,D
A
,X,Y)为总损失，L
GAN
(G,D
A
,X,Y)为对抗损失，L
CYC
(G,D
A
...

【专利技术属性】
技术研发人员：倪建军，唐广翼，曹卫东，史朋飞，
申请(专利权)人：河海大学，
类型：发明
国别省市：