一种基于注意力机制的低照度图像去噪增强方法技术

本发明专利技术属于图像处理和计算机视觉领域，具体为一种基于注意力机制的低照度图像去噪增强方法。该方法通过每个下采样单元之后加入的去噪模块，提取出真实低光照图像复杂背景中的隐藏噪声，以此提高整个网络模型的学习能力，减少训练时间。在去噪模块中，通过空洞卷积和标准卷积的组合，扩大了感受野，在提取出更多有用特征的同时减少了网络的深度，提高了去噪的效果和效率。在两个注意力单元同，通过拼接层有效利用全局特征和局部特征，提高浅层特征对深层特征的影响和去噪模型的表达能力，从而可以得到更好的重建图像，减小噪声对低光照图像增强的影响，使得低光照图像增强达到更好的效果。效果。效果。

【技术实现步骤摘要】
一种基于注意力机制的低照度图像去噪增强方法


[0001]本专利技术属于图像处理和计算机视觉领域，具体为一种基于注意力机制的低照度图像去噪增强方法。
技术背景
[0002]随着深度学习技术在计算机视觉领域的蓬勃发展，各种低光照图像增强方法在生活中得到了广泛应用。图像质量的好坏与光照有着重要的联系，当图片从低照度环境中捕获得到时，一般存在亮度低、对比度低、噪声、细节信息模糊等缺点，需要对其进行亮度增强处理以获得更好的视觉效果。低照度图像增强通过变换数据，有选择地提取图像中需要的重要特征或者抑制图像中某些不重要的特征，使图像与视觉响应特性相匹配，既可以有效提升图像视频的视觉质量，也可以为目标检测、跟踪等视觉处理应用提供一个良好的预处理基础。在低光照图像增强中，图像去噪扮演了一个重要的角色。图像去噪是现实世界中低层次视觉应用的典型问题。基于图像去噪对图片质量的影响和本身的现实意义，已成为图像处理和计算机视觉领域的热门话题。
[0003]图像去噪在研究前期，许多传统的方法在图像去噪方面取得了有竞争力的表现，但这些方法仍然具有参数需要手动选择、算法的优化较复杂、只针对某些特定的噪声任务这三个主要的问题。深度学习方法具有强大的表示能力，其已经成为解决这些缺点的主要技术，具有灵活模块化架构的卷积神经网络已被广泛应用于图像去噪中：
[0004]文献“Zhang K,Zuo W,Chen Y,et al.Beyond a gaussian denoiser:Residual learning of deep cnn for image denoising[J].IEEE transactions on image processing,2017”公开的一种去噪卷积神经网络(DnCNN)，将非常深入的结构、学习算法和正则化方法的进展纳入图像去噪。利用残差学习和批处理归一化来加快训练速度，提高去噪性能。DnCNN模型能够处理未知噪声水平下的高斯去噪(即盲高斯去噪)。利用残差学习策略，DnCNN隐式去除隐藏层中潜在的干净图像。这一特性促使提出的DnCNN可以使用模型来处理多种去噪任务，如高斯去噪、单个图像超分辨率和JPEG图像去块。然而，随着深度的增长，深度网络可能会导致性能下降。
[0005]文献“Tai Y,Yang J,Liu X.Image super
‑
resolution via deep recursive residual network[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2017”公开的一种基于深度递归残差网络(DRRN)的图像超分辨率方法，其利用全局和局部RL技术来增强训练模型在图像恢复中的表示能力。DRRN中引入了全局和局部残差学习，为了保持模型的紧凑性，在DRRN中提出了残差单元的递归学习方法。DRRN有一个由几个残差单元组成的递归块，这些残差单元之间共享权值。DRRN通过设计一个具有多路径结构的递归块来减轻由于网络过深引起的梯度爆炸和梯度消失问题。
[0006]文献“Liu P,Fang R.Learning pixel
‑
distribution prior with wider convolution for image denoising[J].arXiv preprint arXiv:1707.09135,2017”公开的一种基于像素分布先验的图像去噪算法，通过增加网络的宽度有助于在图像去噪中挖掘
更多信息，通过增加CNN的宽度，使其接收场更大，每层的通道更多，可以揭示CNN学习像素分布的能力。此方法的关键是发现更宽的CNN倾向于学习像素分布特征，这说明了推理映射主要依赖于先验，而不是具有更多堆叠非线性层的更深层CNN的可能性。
[0007]文献“Liu J,Sun Y,Xu X,et al.Image restoration using total variation regularized deep image prior[C]//ICASSP 2019
‑
2019IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).IEEE,2019”公开的一种基于全变差正则化深度图像先验的图像恢复方法，将深度图像先验(DIP)和传统的正则化方法全变分(TV)相结合，获得一种新的模型结构，将先验和CNN相结合的方法对图像进行恢复训练，这种方法非常有利于加速图像恢复的训练。深度图像先验使用了卷积神经网络的架构，没有数据驱动的训练，而传统的正则化方法，如全变分，依赖于稀疏性分析模型。本文将DIP框架与传统正则化全变分相结合，对其进行了扩展，发现在一些传统的恢复任务，如图像去噪和去模糊测试中，包含全变分可以带来可观的性能提升。
[0008]尽管上述提出的方法对图像的增强去噪有一定效果，但它们仍然存在一些缺点。如残差密集网络等方法具有较高的计算成本和内存消耗，深层网络中有一些没有充分利用浅层网络对深层网络的影响，以及这些方法大多忽略了复杂背景可能隐藏一些关键特征的问题，并不适用于低光照图像去噪增强。

技术实现思路

[0009]本专利技术的目的在于提供一种基于注意力机制的低照度图像去噪增强方法，以适用于低光照图像去噪增强处理。
[0010]为实现上述目的，本专利技术采用如下技术方案：
[0011]一种基于注意力机制的低照度图像去噪增强方法，包括以下步骤：
[0012]步骤1、获取样本数据集，该样本数据集是由多个数据对组成的序列集，每个数据对是由低光照图像和低光照图像对应的真值图像组成，其中真值图指的是正常照度图像；
[0013]步骤2、将样本数据集划分为训练集、测试集和验证集；
[0014]步骤3、构建以注意力为导向的图像增强网络：
[0015]以注意力为导向的图像增强网络为一个U型编解码网络，包括特征编码器和特征解码器，特征编码器与特征解码器连接；
[0016]所述特征编码器用于提低照度图像的图像特征，包括N个依次连接的下采样单元，每个下采样单元后均连接一个去噪模块；
[0017]所述特征解码器包括N个依次连接的上采样单元、以及连接在最后一个上采样单元之后的一个1
×
1卷积层，使用跳跃连接从下采样单元到对应的上采样单元；
[0018]步骤4、将训练集输入步骤3构建的以注意力为导向的图像增强网络，进行图像增强训练，并通过损失函数对以注意力为导向的图像增强网络进行优化，得到成训练好的以注意力为导向的图像增强网络；
[0019]步骤5、将测试集输入训练好的以注意力为导向的图像增强网络进行测试，将验证集输入训练好的以注意力为导向的图像增强网络进行验证，得到网络预测图片。
[0020]进一步的，所述特征编码器中的下采样单本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的低照度图像去噪增强方法，其特征在于，包括以下步骤：步骤1、获取样本数据集，该样本数据集是由多个数据对组成的序列集，每个数据对是由低光照图像和低光照图像对应的真值图像组成，其中真值图指的是正常照度图像；步骤2、将样本数据集划分为训练集、测试集和验证集；步骤3、构建以注意力为导向的图像增强网络：以注意力为导向的图像增强网络为一个U型编解码网络，包括特征编码器和特征解码器，特征编码器与特征解码器连接；所述特征编码器用于提低照度图像的图像特征，包括N个依次连接的下采样单元，每个下采样单元后均连接一个去噪模块；所述特征解码器包括N个依次连接的上采样单元、以及连接在最后一个上采样单元之后的一个1
×
1卷积层，使用跳跃连接从下采样单元到对应的上采样单元；步骤4、将训练集输入步骤3构建的以注意力为导向的图像增强网络，进行图像增强训练，并通过损失函数对以注意力为导向的图像增强网络进行优化，得到成训练好的以注意力为导向的图像增强网络；步骤5、将测试集输入训练好的以注意力为导向的图像增强网络进行测试，将验证集输入训练好的以注意力为导向的图像增强网络进行验证，得到网络预测图片。2.如权利要求1所述的一种基于注意力机制的低照度图像去噪增强方法，其特征在于：所述特征编码器中的下采样单元，包括依次连接的第一3
×
3的未填充卷积层、第二3
×
3的未填充卷积层和2
×
2最大池化层，第一卷积层和第二卷积层均为采用未填充的卷积层，每个3
×
3的未填充卷积层后采用ReLU激活函数；所述特征解码器中的上采样单元，包括依次连接第一3
×
3的未填充卷积层、第二3
×
3的未填充卷积层和2
×
2的反卷积层，第一卷积层和第二卷积层均为采用未填充的卷积层，每个3
×
3的未填充卷积层后采用ReLU激活函数。3.如权利要求1～2任一项所述的一种基于注意力机制的低照度图像去噪增强方法，其特征在于：所述去噪模块包括依次连接的卷积神经网络、第一注意力单元、第二注意力单元以及重建单元；卷积神经网络包括第一卷积部分和第二卷积部分，第一卷积部分由n个A类型卷积结构层和k个B类型卷积结构层组成，第一个A类型卷积结构之前连接有一个B类型卷积结构层，相邻两个A类型卷积结构...

【专利技术属性】
技术研发人员：王正宁，胥鹏，丁桢炎，匡育衡，刘旭航，何中国，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：