自适应频率分解的低光照图像增强方法与相关设备技术

本发明专利技术适用于计算机视觉图像技术领域，提供了一种自适应频率分解的低光照图像增强方法与相关设备，所述方法包括：获取包含不同亮度图像的数据集，并进行预处理，得到训练数据集和测试数据集；构建包含拉普拉斯金字塔层、特征提取层、自适应频率分解层的自适应频率分解网络，同时，以自适应频率分解网络作为生成网络，构建判别器网络；引入生成器损失函数和判别器损失函数，并以训练数据集为自适应频率分解网络和判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以测试数据集为输入进行低照度增强，计算定量指标。本发明专利技术减少了频率分解模型的训练量，且能够挖掘图像的更多潜在信息，提高了图像的低照度增强效果。度增强效果。度增强效果。

【技术实现步骤摘要】
自适应频率分解的低光照图像增强方法与相关设备


[0001]本专利技术属于计算机视觉图像
，尤其涉及一种自适应频率分解的低光照图像增强方法与相关设备。

技术介绍

[0002]由于不可避免的环境或技术限制，许多图像往往是在不理想的照明条件下拍摄的，这样的图像往往存在整体偏暗、噪声多、对比度差等问题，这样的图像一方面影响视觉效果，另一方面给后期计算机的高级视觉处理带来困难。而一种高效的低光照图像算法能很好弥补设备上的不足，通过算法对图像的成像质量进行改进，可以提升观感，也能够为后续的高级视觉任务提供预处理，例如目标识别，目标跟踪等。因此，研究低光照图像增强算法是一件具有实际需求且应用广泛的任务。
[0003]一般的低光照图像增强手段具有可预见的质量问题，比如在增亮图像整体亮度和对比度的同时，图像黑暗区间的噪声会被放大，使暗部细节丢失。相关算法的研究一开始有两个方向：一种算法基于物理模型，例如直方图均衡化(HE)，主要是通过扩大整个图片的动态范围来提升图像的对比度；另一种算法基于Retinex理论，主要是通过单尺度SSR过滤出低频信息，留下高频信息，从而增强图像的边缘信息，在此基础上，又出现多尺度Retinex(MSR)和带颜色恢复的多尺度Retinex(MSRCR)方法，然而上述方法局限于图片输出的方式，往往出现图像中的部分区域被过度强化，导致图像看起来不自然。随着深度学习技术的发展，一些基于深度学习的低光照图像增强算法也被提出，Lore等人提出的微光网络(LLNet)构建了一个深度网络来对低照度图像做增强和去噪，然而该网络采用的数据集是合成数据集，对真实场景下的图像并不能产生很好地效果；Shen等人将传统的多尺度Retinex(MSR)设计为拥有多个高斯卷积前馈的前馈神经网络，并效仿MSR的流程提出了MSR
‑
Net，实现端到端的图像增强，以上方法较为早期，都属于有监督的方法，使得训练过程比较复杂。有研究者采用对抗生成网络(GAN)的无监督方法构建了一种用于低照度图像增强的网络EnlightenGAN，其不需要配对数据集，只需要提供不成对的低光照数据集和正常光照数据集，就能使网络学习到低光照图像到正常光照之间的非线性映射，无论从主观还是客观都能取到不错的效果；Li等人提出一种无参考的低照度图像方法Zero
‑
DCE，其通过一组无参考损失学习低光照图像与曲线参数之间的映射关系，并通过迭代的方式增强图像亮度和对比度，后续还基于深度可分离卷积提出了Zero
‑
DCE++，但缺点是其模型输出的图像仍不足以达到一个高对比的效果，且存在部分噪点。
[0004]比较前沿的研究中，《Learning to Restore Low
‑
Light Images via Decomposition and Enhancement》一文中设计了一种基于频率的分解增强模型用于增强低照度图像，其在第一阶段提取出低频信息以进行噪声抑制和低频层信息增强，在第二阶段提取出高频信息以进行细节增强。问题在于，这种模型需要大量的试验来确定最佳参数以控制提取多大感受野的高、低频信息，因此不能很好达到一个自适应调节感受野的策略，而且分阶段提取频带信息大大增加了模型训练的难度。

技术实现思路

[0005]本专利技术实施例提供一种自适应频率分解的低光照图像增强方法与相关设备，旨在解决现有的频率分解增强模型在低照度图像增强的场景下存在的训练量大、频带提取过程较为复杂的问题。
[0006]第一方面，本专利技术实施例提供一种自适应频率分解的低光照图像增强方法，所述方法包括以下步骤：
[0007]S101、获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集；
[0008]S102、构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器；
[0009]S103、引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。
[0010]更进一步地，步骤S101中对所述LOL数据集进行预处理的方法包括归一化、随机裁剪和随机水平翻转中的其中至少一种。
[0011]更进一步地，所述自适应频率分解网络中，输入的图像经过所述拉普拉斯金字塔层处理得到拉普拉斯残差图，所述拉普拉斯残差图具有浅层特征和深层特征，所述浅层特征和所述深层特征分别满足如下表达式(1)、(2)：
[0012]I
k+1
＝f
↓
(I
k
)
ꢀꢀꢀꢀ
(1)
[0013]L
k
＝I
k
‑
f
↑
(L
k+1
)
ꢀꢀꢀꢀ
(2)
[0014]其中，k∈{1,2,3}，f
↓
()代表双线性差值的下采样，f
↑
()代表双线性差值的上采样。
[0015]更进一步地，所述自适应频率分解层包括低频特征分支和高频特征分支，所述编码分支对所述拉普拉斯残差图进行特征提取得到编码特征，定义所述编码特征为x
en
，所述低频特征分支和所述高频特征分支分别对所述编码特征进行感知特征提取，得到不同感受野的两组特征，并进一步结合不同感受野的特征得到两组感知特征图C
a
，所述感知特征图C
a
满足如下关系式(3)：
[0016][0017]其中，i取值1、2，使用f
d1
()和f
d2
()分别计算不同感受野的两组特征，当i取值为1时，f
1d1
和f
1d2
均表示卷积核大小为3
×
3、膨胀率为1和6的卷积操作，当i取值2时，f
2d1
和f
2d2
均表示卷积核大小为3
×
3、膨胀率为1和12的卷积操作，σ表示线性激活函数Leakyrelu；
[0018]将不同的所述感知特征图与所述编码特征在通道维度上进行拼接，得到高频特征和低频特征，所述高频特征和所述低频特征分别满足如下关系式(4)、(5)：
[0019][0020][0021]更进一步地，所述自适应频率分解层得到所述高频特征和所述低频特征后，将所述高频特征和所述低频特征输入一个SE注意力机制中，得到一个全局向量。
[0022]更进一步地，定义所述生成器损失函数为L
total
，且所述生成器损失函数满足如下表达本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应频率分解的低光照图像增强方法，其特征在于，所述方法包括以下步骤：S101、获取包含多张不同亮度图像的LOL数据集，对LOL数据集进行预处理，得到训练数据集和测试数据集；S102、构建包含拉普拉斯金字塔层、特征提取层、以及自适应频率分解层的自适应频率分解网络，所述特征提取层包括编码分支和解码分支；以所述自适应频率分解网络作为生成对抗网络结构的生成网络，并构建对应所述自适应频率分解网络的判别器网络，所述判别器网络包括全局判别器和局部判别器；S103、引入生成器损失函数和判别器损失函数，并以所述训练数据集为所述自适应频率分解网络和所述判别器网络整体的输入进行训练，直到训练完成输出得到低光照增强模型，之后，以所述测试数据集为所述低光照增强模型的输入，对图像进行低照度增强，并计算定量指标。2.如权利要求1所述的自适应频率分解的低光照图像增强方法，其特征在于，步骤S101中对所述LOL数据集进行预处理的方法包括归一化、随机裁剪和随机水平翻转中的其中至少一种。3.如权利要求1所述的自适应频率分解的低光照图像增强方法，其特征在于，所述自适应频率分解网络中，输入的图像经过所述拉普拉斯金字塔层处理得到拉普拉斯残差图，所述拉普拉斯残差图具有浅层特征和深层特征，所述浅层特征和所述深层特征分别满足如下表达式(1)、(2)：I
k+1
＝f
↓
(I
k
)
ꢀꢀꢀ
(1)L
k
＝I
k
‑
f
↑
(L
k+1
)
ꢀꢀꢀ
(2)其中，k∈{1,2,3}，f
↓
()代表双线性差值的下采样，f
↑
()代表双线性差值的上采样。4.如权利要求3所述的自适应频率分解的低光照图像增强方法，其特征在于，所述自适应频率分解层包括低频特征分支和高频特征分支，所述编码分支对所述拉普拉斯残差图进行特征提取得到编码特征，定义所述编码特征为x
en
，所述低频特征分支和所述高频特征分支分别对所述编码特征进行感知特征提取，得到不同感受野的两组特征，并进一步结合不同感受野的特征得到两组感知特征图C
a
，所述感知特征图C
a
满足如下关系式(3)：其中，i取值1、2，使用f
d1
()和f
d2
()分别计算不同感受野的两组特征，当i取值为1时，f
1d1
和f
1d2
均表示卷积核大小为3
×
3、膨胀率为1和6的卷积操作，当i取值2时，f
2d1
和f
2d2
均表示卷积核大小为3
×
3、膨胀率为1和12的卷积操作，σ表示线性激活函数Leakyrelu；将不同的所述感知特征图与所述编码特征在通道维度上进行拼接，得到高频特征和低频特征，所述高频特征和所述低频特征分别满足如下关系式(4)、(5)：频特征，所述高频特征和所述低频特征分别满足如下关系式(4)、(5)：5.如权利要求4所述的自适应频率分解的低光照图像增强方法，其特征在于，所述自适应频率分解层得到所述高频特征和所述低频特征后，将所述高频特征和所述...

【专利技术属性】
技术研发人员：闫潇宁，陈晓艳，梁禧文，陈文海，
申请(专利权)人：深圳市安软慧视科技有限公司，
类型：发明
国别省市：