一种基于多个神经网络结构融合的低照度图像增强方法技术

本发明专利技术公开了一种基于多个神经网络结构融合的低照度图像增强方法，首先构造训练数据集，得到数据充足的训练集；然后以GLADNet网络结构作为基础，在其中连续的下采样层中间加入卷积层；在网络结构的输出处，加入ResNet网络结构，提高神经网络的训练能力；接着在所搭建的网络结构的多通道处，加入通道注意力机制和空间注意力机制；使用训练数据集和搭建的深度学习网络模型，选取Adam优化器和合适的损失函数对网络模型进行训练；将测试数据集中的低照度图像输入到训练好的网络模型中，得到增强后的图像，并用峰值信噪比和结构相似性指数度量增强的测试图像，说明网络性能。本发明专利技术在峰值信噪比和结构相似度指标上有了明显的提升。信噪比和结构相似度指标上有了明显的提升。信噪比和结构相似度指标上有了明显的提升。

【技术实现步骤摘要】
一种基于多个神经网络结构融合的低照度图像增强方法


[0001]本专利技术属于数字图像处理领域，涉及低照度图像的增强方法，特别涉及基于深度神经网络的结构改进。

技术介绍

[0002]图像是人们获取信息、知识和数据的重要来源，但是随着图像的发展普及，也出现了很多问题，图像的采集如果是在阴天夜晚以及有物体遮挡的情况下，那么得到的图像往往具有低照度以及细节丢失的缺陷，这样低质量的图像无法让我们直接理解其中的信息。所以需要对低照度图像进行图像增强处理，获得正常亮度和对比度的清晰图像。
[0003]低照度图像增强算法可以分为基于传统方法和基于神经网络的算法，在低照度图像增强方面的传统方法可以分为直方图均衡化方法、基于去雾模型的方法和基于Retinex理论的方法。直方图均衡化方法是对原始图像的像素灰度做某种映射变换，但是没有考虑图像场景的边缘信息；基于去雾模型的方法中因为对低照度的图像逐像素取反后的图像和雾天图像类似，所以借助于暗原色先验去雾的思想，对低照度图像进行增强，但是需要假设大气光是均匀的，难以符合实际情况；基于Retinex理论的方法是从原始图像中估计出光照，从而分解出反射率图像，运算时间开销较大。
[0004]如上所述，现有的传统算法能够一定程度提升低照度图像的亮度。但是，还有很多不足之处，因此，需要一种增强效果明显，针对不同场景更加鲁棒，求解算法简单的方法，以神经网络为基础的方法是近年的研究新方向。LRCNN利用全连接层增强图像对比度，GLADNet利用连续的下采样和对应的上采样层端到端地恢复图像照度。基于神经网络的算法能够比传统方法在PSNR和SSIM指标上有一定的提高，但是现有的网络存在网络结构较单一的问题，且各个领域对低照度图像增强效果的需求日益增高，所以提高深度神经网络在低照度图像增强的性能是十分重要的。

技术实现思路

[0005]为解决上述技术问题，本专利技术公开一种基于多个神经网络融合的低照度图像增强方案，该方案提高了深度学习在低照度图像增强中的学习能力，将图像增强后的PSNR水准提升到了新的高度。
[0006]为实现上述目的，本专利技术采用以下技术方案：
[0007]包括以下步骤：
[0008]1)构造训练数据集
[0009]1a)选取LOL dataset中的485张正常光照图像和对应的低照度图像。
[0010]1b)选取MIT-Adobe FiveK dataset中的4515张正常光照图像和对应的低照度图像。
[0011]1c)将这两个数据集共5000张图片调整大小为600
×
400。
[0012]2)以GLADNet网络结构作为基础，在其中连续的下采样层中间加入卷积层，卷积层
中激活函数采用线性整流函数(ReLU)。
[0013]2a)在第一层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为48
×
48。
[0014]2b)在第二层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为24
×
24。
[0015]2c)在第三层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为12
×
12。
[0016]2d)在第四层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为6
×
6。
[0017]2e)在第五层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为3
×
3。
[0018]3)在2)得到的网络模型中加入ResNet结构，将输入低照度图像与最后一层卷积层的输出相加，然后得到高质量的图像。
[0019]4)在3)的网络中的多通道处，加入注意力机制。
[0020]4a)在第三层上采样后，加入通道注意力机制和空间注意力机制。
[0021]4b)在第四层上采样后，加入通道注意力机制和空间注意力机制。
[0022]4c)在网络结构的重建图像细节部分，连续的卷积层中第四层卷积后加入通道注意力机制和空间注意力机制。
[0023]5)使用1)中的数据集和4)中的网络模型进行训练。
[0024]5a)将1)中训练集的图像分批次输入到4)中所搭建的网络框架中，设置合适的批处理大小为8，设置初始学习速率为0.001，设定迭代一定次数后将学习速率减少1/5。
[0025]5b)设置网络训练的损失函数为：
[0026][0027]其中，N为图像训练集中图像的数目，X
i
和Y
i
表示训练集中的低照度图像与对应的正常光照的图像，F(
·
)表示4)中的网络结构，||
·
||1表示L1范数。
[0028]5c)使用Adam优化器，不断学习优化5b)中设定的网络损失函数。
[0029]6)对上述步骤中的已训练网络模型进行测试实验，并用峰值信噪比和结构相似性指数度量增强的测试图像，说明网络性能。
[0030]6a)选取测试图像为LOL dataset中的15张低照度测试图片，其不在网络训练集中。
[0031]6b)将6a)中的低照度测试图像输入到5)中得到的已训练网络模型中，进而获得网络的输出图像，即增强了光照的测试图像。
[0032]6c)为了说明网络性能,用峰值信噪比和结构相似性指数度量6b)中获得的图像,其中PSNR指标值越大表示图像增强效果越好；SSIM指标的取值范围为[0,1],其值越大表示图像越接近原始图像。
[0033]本专利技术的优点和积极效果是：
[0034]1.本专利技术以GLADNet为基础，在其中加入卷积层以更好的提取深层特征，在其中融合ResNet结构，使整个网络的训练更加迅速，损失函数降低的更加准确，在其中加入通道注意力机制和空间注意力机制，使网络关注更有用的通道，抑制通道中没有用的特征，结果证明这三种结构的依次加入每一次都对PSNR指标有明显提升，且增强的图像拥有更好的亮度和对比度。
[0035]2.本专利技术充分利用了深度卷积神经网络，经过一系列卷积网络结构来增强图像，提高了图像处理的准确率，获取了高质量图像，可广泛用于计算机低层次视觉任务技术领
域。
附图说明
[0036]下面结合附图和实施对本专利技术进一步说明。
[0037]图1是本专利技术一种基于多个神经网络结构融合的低照度图像增强方法的流程图。
[0038]图2是GLADNet的网络结构。
[0039]图3是在GLADNet结构中加入卷积层后的结构图
[0040]图4是加入ResNet结构后的示意图
[0041]图5是加入注意力机制的结构图，即是本专利技术一种基于多个神经网络结构融合的低照度图像增强方法中构建的网络模型。
[0042]图6是加入的注意力机制的具体结构图。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于，包含以下步骤：1)构造训练数据集，选取LOL dataset和MIT-Adobe FiveK dataset数据集中的共5000对正常光照图像和对应的低照度图像作为训练数据集；2)以GLADNet网络结构作为基础，在其中连续的下采样层中间加入卷积层，卷积层中激活函数采用线性整流函数(ReLU)；3)在步骤2)得到的网络模型的输出处加入ResNet结构，将输入低照度图像与最后一层卷积层的输出相加，然后得到高质量的图像；4)在步骤3)所搭建的网络结构的多通道处，加入通道注意力机制和空间注意力机制；5)选取合适的优化器与损失函数，使用步骤1)中的数据集和步骤4)中的网络模型进行训练；6)对步骤5)中的已训练网络模型进行测试实验，并用峰值信噪比和结构相似性指数度量增强的测试图像，说明网络性能。2.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：所述步骤1)的具体实现方法包括以下步骤：1a)选取LOL dataset中的485张正常光照图像和对应的低照度图像，选取MIT-Adobe FiveK dataset中的4515张正常光照图像和对应的低照度图像；1b)将这两个数据集共5000张图片调整大小为600
×
400。3.根据权利要求1所述的一种基于多个神经网络结构融合的低照度图像增强方法，其特征在于：所述步骤2)的具体实现方法包括以下步骤：2a)在第一层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为48
×
48；2b)在第二层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为24
×
24；2c)在第三层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为12
×
12；2d)在第四层下采样后，加入64通道3
×
3的卷积层，保持特征图的大小为6
×
6；2e)在第五层下采样后，加入64通...

【专利技术属性】
技术研发人员：王霞，柳萱，侯兴松，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：