一种基于全局频率域滤波的快速低光图像增强方法技术

本发明专利技术公开了一种基于全局频率域滤波的快速低光图像增强方法，其包括以下步骤：S1、构建已知标签的图像训练集和低光图像增强网络模型；S2、使用图像训练集对低光图像增强网络模型进行训练，得到训练后的低光图像增强网络模型；S3、采用训练后的低光图像增强网络模型对低光图像进行增强。本发明专利技术提供了一种高效、轻量级的低光图像增强网络模型，可以兼顾对低光图像的增强速度和增强效果。光图像的增强速度和增强效果。光图像的增强速度和增强效果。

【技术实现步骤摘要】
一种基于全局频率域滤波的快速低光图像增强方法


[0001]一种基于全局频率域滤波的快速低光图像增强方法。

技术介绍

[0002]低光图像增强(LLIE)是在黑暗环境下进行物体检测和图像分类等高级视觉任务的关键问题。在机器人应急救援等任务中被广泛应用，尤其是在水中、夜间环境等无法直接人工作业的黑暗环境中。
[0003]目前针对低光图像增强方法主要有传统的直方图均衡化、基于Retinex的微光增强方法，基于深度学习方法的微光图像增强也受到广泛关注，初始微光增强方法采用直方图均衡化(HE)来改变图像的直方图分布或gamma校正来调整图像对比度。这类方法只改变了图像的灰度值，没有考虑图像语义信息的影响以及相邻像素之间的关系。基于Retinex理论的方法往往增加计算复杂度为代价来提高增强效果。目前最先进的LLIE方法要么基于相当复杂的网络，对实时推理来说速度太慢，要么具有实时推理速度，但增强效果较差。

技术实现思路

[0004]针对现有技术中的上述不足，本专利技术提供的一种基于全局频率域滤波的快速低光图像增强方法解决了现有低光图像增强方法难以兼顾速度与效果的问题。
[0005]为了达到上述专利技术目的，本专利技术采用的技术方案为：
[0006]提供一种基于全局频率域滤波的快速低光图像增强方法，其包括以下步骤：
[0007]S1、构建已知标签的图像训练集和低光图像增强网络模型；
[0008]S2、使用图像训练集对低光图像增强网络模型进行训练，得到训练后的低光图像增强网络模型；
[0009]S3、采用训练后的低光图像增强网络模型对低光图像进行增强。
[0010]进一步地，已知标签的图像从LOLdataset数据集和synthetic数据集中选取。
[0011]进一步地，步骤S1中低光图像增强网络模型的构建过程包括以下子步骤：
[0012]S1
‑
1、构建一个基于深度可分离卷积和残差下采样块的编码器
‑
解码器网络，对输入的图像进行特征提取；
[0013]S1
‑
2、构建一个全卷积神经网络，对提取的图像特征进行细节重建，得到增强后的图像。
[0014]进一步地，基于深度可分离卷积和残差下采样块的编码器
‑
解码器网络包括一个深度可分离卷积层、三个残差下采样块、三个转置卷积层、两个跳跃连接模块；
[0015]深度可分离卷积层与三个残差下采样块依次串联；第三个残差下采样块的输出端与第一个转置卷积层的输入端相连；第二个残差下采样块的输出端和第一个转置卷积层的输出端分别与第二个跳跃连接模块的输入端相连；第一个跳跃连接模块的输出端与第二个转置卷积层的输入端相连；第一个残差下采样块的输出端和第二个转置卷积层的输出端分别与第一个跳跃连接模块的输入端相连；第二个跳跃连接模块的输出端为基于深度可分离
卷积和残差下采样块的编码器
‑
解码器网络的输出端。
[0016]进一步地，深度可分离卷积层通过ReLU函数激活；每个残差下采样块包括两个串联的深度可分离卷积层，以及一个与该两个串联的深度可分离卷积层并联的卷积层；两个串联的深度可分离卷积层的最终输出与该卷积层的输出进行相加，得到残差下采样块的输出；
[0017]第一个残差下采样块的输出尺度与第二个转置卷积层的输出尺度相同；第二个残差下采样块的输出尺度与第一个转置卷积层的输出尺度相同。
[0018]进一步地，每个跳跃连接模块均包括依次连接的重塑单元、快速傅立叶变换单元、低通滤波器、快速傅立叶反变换单元、转换单元和拼接单元；其中：
[0019]重塑单元，用于将残差下采样块的输出重塑为一个全局的2维的特征矩阵；
[0020]快速傅立叶变换单元，用于将全局的2维的特征矩阵转换为幅度谱和相位谱；
[0021]低通滤波器，用于过滤幅度谱中的高频冗余信息，得到过滤后的幅度谱；
[0022]快速傅立叶反变换单元，用于将过滤后的幅度谱和相位谱转换到时间域全局2维特征矩阵；
[0023]转换单元，用于将时间域全局2维特征矩阵转换为与重塑单元输入相同尺寸的特征图；
[0024]拼接单元，用于将转换单元输出的特征图与转置卷积层的输出进行拼接。
[0025]进一步地，全卷积神经网络包括3个依次串联的、卷积核大小为3
×
3的卷积层；其中全卷积神经网络的第一层卷积层和第二层卷积层通过LeakReLU函数进行激活；全卷积神经网络的第三层卷积层通过sigmod函数激活将输出增强图像的像素值控制在0到1之间。
[0026]进一步地，步骤S2的具体方法为：
[0027]S2
‑
1、将图像训练集中的低光图像输入低光图像增强网络模型，得到低光图像增强网络模型的输出图像；
[0028]S2
‑
2、根据公式：
[0029][0030]获取训练过程中的亮度损失L
brightness
；其中N为当前训练过程中输入低光图像增强网络模型的低光图像总数，i表示训练过程中输入低光图像增强网络模型的第i个低光图像；λ
j
表示第j个通道的权重，r,g,b对应RGB色彩空间下红绿蓝三个颜色通道；R
i,j
(x,y)表示第j个通道针对第i个低光图像的输出图像；Y
i,j
(x,y)表示输入的第i个低光图像对应的正常照度标签图像；
[0031]S2
‑
3、根据公式：
[0032][0033]获取训练过程中的结构相似性损失L
ssim
；其中SSIM(
·
)表示结构相似性计算函数；
[0034]S2
‑
4、根据公式：
[0035][0036]通过VGG网络获取训练过程中的结构感知损失L
perceptual
；C表示VGG网络中特征图像中的比例，H和W表示VGG网络中特征图像中的维度；φ
λ,k
(R(x,y))表示由VGG网络中第λ个卷积层获得的低光图像增强网络模型输出增强图像对应的第k个通道的特征图；φ
λ,k
(Y(x,y))表示由VGG网络中第λ个卷积层获得的正常照度标签图像对应的第k个通道的特征图；
[0037]S2
‑
5、根据公式：
[0038][0039]获取训练过程中的平滑损失L
smooth
；其中R(i
*
,j
*
‑
1)表示低光图像增强网络模型输出的增强图像中第i
*
行第j
*
‑
1列的像素值；R(i
*
+1,j
*
)表示低光图像增强网络模型输出的增强图像中第i
*
+1行第j
*
列的像素值；R(i
*本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局频率域滤波的快速低光图像增强方法，其特征在于，包括以下步骤：S1、构建已知标签的图像训练集和低光图像增强网络模型；S2、使用图像训练集对低光图像增强网络模型进行训练，得到训练后的低光图像增强网络模型；S3、采用训练后的低光图像增强网络模型对低光图像进行增强。2.根据权利要求1所述的一种基于全局频率域滤波的快速低光图像增强方法，其特征在于，已知标签的图像从LOLdataset数据集和synthetic数据集中选取。3.根据权利要求1所述的一种基于全局频率域滤波的快速低光图像增强方法，其特征在于，步骤S1中低光图像增强网络模型的构建过程包括以下子步骤：S1
‑
1、构建一个基于深度可分离卷积和残差下采样块的编码器
‑
解码器网络，对输入的图像进行特征提取；S1
‑
2、构建一个全卷积神经网络，对提取的图像特征进行细节重建，得到增强后的图像。4.根据权利要求3所述的一种基于全局频率域滤波的快速低光图像增强方法，其特征在于，基于深度可分离卷积和残差下采样块的编码器
‑
解码器网络包括一个深度可分离卷积层、三个残差下采样块、三个转置卷积层、两个跳跃连接模块；深度可分离卷积层与三个残差下采样块依次串联；第三个残差下采样块的输出端与第一个转置卷积层的输入端相连；第二个残差下采样块的输出端和第一个转置卷积层的输出端分别与第二个跳跃连接模块的输入端相连；第一个跳跃连接模块的输出端与第二个转置卷积层的输入端相连；第一个残差下采样块的输出端和第二个转置卷积层的输出端分别与第一个跳跃连接模块的输入端相连；第二个跳跃连接模块的输出端为基于深度可分离卷积和残差下采样块的编码器
‑
解码器网络的输出端。5.根据权利要求4所述的一种基于全局频率域滤波的快速低光图像增强方法，其特征在于，深度可分离卷积层通过ReLU函数激活；每个残差下采样块包括两个串联的深度可分离卷积层，以及一个与该两个串联的深度可分离卷积层并联的卷积层；两个串联的深度可分离卷积层的最终输出与该卷积层的输出进行相加，得到残差下采样块的输出；第一个残差下采样块的输出尺度与第二个转置卷积层的输出尺度相同；第二个残差下采样块的输出尺度与第一个转置卷积层的输出尺度相同。6.根据权利要求4所述的一种基于全局频率域滤波的快速低光图像增强方法，其特征在于，每个跳跃连接模块均包括依次连接的重塑单元、快速傅立叶变换单元、低通滤波器、快速傅立叶反变换单元、转换单元和拼接单元；其中：重塑单元，用于将残差下采样块的输出重塑为一个全局的2维的特征矩阵；快速傅立叶变换单元，用于将全局的2维的特征矩阵转换为幅度谱和相位谱；低通滤波器，用于过滤幅度谱中的高频冗余信息，得到过滤后的幅度谱；快速傅立叶反变换单元，用于将过滤后的幅度谱和相位谱转换到时间域全局2维特征矩阵；转换单元，用于将时间域全局2维特征矩阵转换为与重塑单元输入相同尺寸的特征图；拼接单元，用于将转换单元输出的特征图与转置卷积层的输出进行拼接。7.根据权利要求3所述的一种基于全局频率域滤波的快速低光图像增强方法，其特征
在于，全卷积神经网络包括3个依次串联的、卷积核大小为3
×
3的卷积层；其中全卷积神经网络的第一层卷积层和第二层卷积层通过LeakReLU函数进行激活；全卷积神经网络的第三层卷积层通...

【专利技术属性】
技术研发人员：陈姝姮，刘满禄，谢渝，胡莉，汪美，凌浩宇，
申请(专利权)人：西南科技大学，
类型：发明
国别省市：