一种基于通道注意力机制的图像质量增强方法技术

本发明专利技术公共了一种基于通道注意力机制的图像质量增强方法首先将高质量原图处理成对应的低质量图像，得到低质量‑高质量图像对照组；然后搭建图像增强网络模型，通过得到的低质量图像训练图像增强网络模型；最后将低质量的图像输入训练好的图像增强网络模型得到高质量图像。本发明专利技术方法通过采用具有残差网络模块和通道注意力模块的神经网络模型作为图像增强模型，进行图像增强，通过残差网络和通道注意力网络模型配合，能利用低质量图像输出具有更丰富的细节的高质量图像。

【技术实现步骤摘要】
一种基于通道注意力机制的图像质量增强方法
本专利技术涉及数字图像处理、计算机视觉领域，具体涉及一种基于通道注意力机制的图像质量增强方法。
技术介绍
图像相比文字能够提供更加生动、容易理解及更具艺术感的信息，是人们转递与交换信息的重要来源。图像增强技术就是利用低质量，细节缺失的图像来产生高质量，细节丰富的图像。目前，图像增强技术可以分为三类：基于空域、基于频域和基于学习的方法。基于空域的方法直接作用于图像像素，对图像进行处理。基于频域的方法是在图像的某种变换域内对图像的变换系数进行修正，然后再反变换到原来的空域，得到增强的图像。随着深度学习的快速发展，基于学习的图像增强算法更是近年来研究的热点。它采用大量高质量图像产生学习模型，在对低质量图像进行恢复的过程中引入学习模型学习到的先验知识，训练神经网络来寻找低质量图像与其对应的高质量图像之间的对应关系，从而得到更丰富的细节，获得令人满意的图像增强效果。基于深度学习的方法有LL-NET、MBLLEN、LightenNet等，这些模型都有一定的图像增强能力，但由于网络层数的限制，模型能提取到的细节信息数量很有限，生成的图像不够锐利，细节不够丰富。
技术实现思路
基于现有技术所存在的问题，本专利技术的目的是提供一种基于通道注意力机制的图像质量增强方法，能解决现有图像增强方法中，所存在的不够锐利，细节不够丰富等问题。本方法为解决公知技术中存在的技术问题所采取的技术方案是：一种基于通道注意力机制的图像质量增强方法，步骤如下：步骤一，将高质量原图处理成对应的低质量图像，得到低质量-高质量图像对照组。步骤二，搭建图像增强网络模型。步骤三，通过步骤一得到的低质量图像训练图像增强网络模型。步骤四，将低质量的图像输入训练好的图像增强网络模型得到高质量图像。由上述本专利技术提供的技术方案可以看出，本专利技术实施例提供的图像增强方法，其有益效果为：通过采用具有残差网络模块和通道注意力模块的神经网络模型作为图像增强模型，进行图像增强，通过残差网络和通道注意力网络模型配合，能利用低质量图像输出具有更丰富的细节的高质量图像。附图说明图1为本专利技术实施例流程图；图2为本专利技术实施例图像增强网络模型的结构原理图；图3为本专利技术实施例原始低质量图像示意图；图4为使用本专利技术实施例提供的图像增强方法对原始图像进行增强后输出的图像。具体实施方式下面结合本专利技术的具体内容，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。如图1所示，本专利技术实施例提供一种图像增强方法，采用具有残差网络模块和通道注意力模块的神经网络模型对低质量图像进行增强，包括：步骤一，将高质量原图处理成对应的低质量图像，得到低质量-高质量图像对照组，具体方法如下：通过对高质量原图进行JPEG压缩，(QF<30)或改变曝光度(增加或降低曝光度在±3EV之间)的方法使图像的质量降低，得到低质量-高质量图像对照组；能解决实际中无法同时收集到只具有单一的可控的劣化因素的低质量图片，无法为深度学习提供大量数据的问题。为扩充数据集样本数，使网络有更好的泛化性，将成对的低质量-高质量图像对照组进行相同的随机反转和旋转操作，为加快训练速度，将低质量-高质量图像对照组再进行随机选取裁剪位置的裁剪操作，裁剪成128*128的图像；步骤二，搭建图像增强网络模型；图像增强网络模型包括图像增强网络模型包括降采样部分，残差网络部分，通道注意力模块，上采样部分组成。其中降采样部分包括两级PixelUnshuffle和一个卷积核大小为3*3的二维卷积，残差网络部分包括由N个结构相同的残差块组成的残差块部分和一个卷积核大小为3*3的二维卷积构成，上采样部分包括两级PixelShuffle和一个卷积核大小为3*3的二维卷积。输入图像为经过步骤一处理后的低质量图像。图像增强网络模型的结构如图2所示，其中：降采样部分(DownScale)采用两级PixelUnshuffle方法对图像进行四倍降采样处理，将具有RGB三通道的图像输入，首先使用缩放倍数为2的PixelUnshuffle方法将图像的长和宽缩小为输入图像的1/2，通道数变为12，然后使用卷积核大小为3*3的二维卷积将图像由12通道转为64通道，再使用缩放倍数为2的PixelUnshuffle方法将图像的长和宽缩小为输入图像的1/4，通道数变为256，最后使用卷积核大小为3*3的二维卷积将图像由256通道转为64通道。残差块部分为N个结构相同的残差块(ResidualBlock)，每个残差块由卷积核大小为3*3的二维卷积、线性整流单元、卷积核大小为3*3的卷积组成，个数N为16。使用多个残差块搭建深层网络可以将浅层的信息传递至网络深层，避免产生梯度消失，网络退化等问题，使网络的特征提取和映射能力大幅度增强。此处使用的残差块仅包含3*3卷积、线性整理单元和3*3卷积，相较于传统的ResNet去除了批归一化，此修改可大幅提升性能表现，同时有效降低GPU的显存使用率。Conv3*3为一个卷积核大小为3*3的二维卷积。通道注意力模块(SeBlock)，由步长为2的3*3二维卷积、全局池化层、全连接层、线性整流单元、全连接层、Sigmoid激活函数构成。SeBlock采用了一种全新的特征重标定策略，可以显式地建模特征通道之间的相互依赖关系。SeBlock首先对卷积得到的特征图进行Squeeze操作，得到通道级的全局特征，然后对全局特征进行Excitation操作，学习各个通道间的关系，也得到不同通道的权重，最后乘以原来的特征图得到最终特征。这种注意力机制让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征。从而使特征被更好的利用。上采样部分(UpScale)采用两级PixelShuffle方法对图像进行四倍上采样处理，首先通过一个卷积核大小为3*3的二维卷积将特征图的通道数由64变为256，然后使用缩放倍数为2的PixelShuffle方法将图像的长和宽放大为输入特征图的2倍，通道数变为64，再使用一个卷积核大小为3*3的二维卷积将特征图的通道数由64变为256，最后使用缩放倍数为2的PixelShuffle方法将图像的长和宽放大为输入特征图的4倍，通道数变为64，最后使用一个卷积核大小为3*3的二维卷积将64通道的特征图转换为RGB三通道的经过网络增强后的高质量图像输出。步骤三，训练图像增强网络模型；训练采用Adam优化器作为优化器，采用CharbonnierLoss作为损失函数。在图形增强任务中，低质量的图像和高质量图像直接的对应关系并不是一一对应，完本文档来自技高网...

【技术保护点】
1.一种基于通道注意力机制的图像质量增强方法，其特征在于，步骤如下：/n步骤一，将高质量原图处理成对应的低质量图像，得到低质量-高质量图像对照组；/n步骤二，搭建图像增强网络模型；/n步骤三，通过步骤一得到的低质量图像训练图像增强网络模型；/n步骤四，将低质量的图像输入训练好的图像增强网络模型得到高质量图像。/n

【技术特征摘要】
1.一种基于通道注意力机制的图像质量增强方法，其特征在于，步骤如下：
步骤一，将高质量原图处理成对应的低质量图像，得到低质量-高质量图像对照组；
步骤二，搭建图像增强网络模型；
步骤三，通过步骤一得到的低质量图像训练图像增强网络模型；
步骤四，将低质量的图像输入训练好的图像增强网络模型得到高质量图像。


2.根据权利要求1所述的一种基于通道注意力机制的图像质量增强方法，其特征在于，步骤一具体方法如下：
通过对高质量原图进行JPEG压缩，(QF<30)或改变曝光度(增加或降低曝光度在±3EV之间)的方法使图像的质量降低，得到低质量-高质量图像对照组；
将成对的低质量-高质量图像对照组进行相同的随机反转和旋转操作，为加快训练速度，将低质量-高质量图像对照组再进行随机选取裁剪位置的裁剪操作，裁剪成128*128的图像。


3.根据权利要求2所述的一种基于通道注意力机制的图像质量增强方法，其特征在于，步骤二具体方法如下；
图像增强网络模型包括图像增强网络模型包括降采样部分，残差网络部分，通道注意力模块，上采样部分组成；其中降采样部分包括两级PixelUnshuffle和一个卷积核大小为3*3的二维卷积，残差网络部分包括由N个结构相同的残差块组成的残差块部分和一个卷积核大小为3*3的二维卷积构成，上采样部分包括两级PixelShuffle和一个卷积核大小为3*3的二维卷积；
输入图像为经过步骤一处理后的低质量图像；
图像增强网络模型的结构如下，其中：
降采样部分(DownScale)采用两级PixelUnshuffle方法对图像进行四倍降采样处理，将具有RGB三通道的图像输入，首先使用缩放倍数为2的PixelUnshuffle方法将图像的长和宽缩小为输入图像的1/2，通道数变为12，然后使用卷积核大小为3*3的二维卷积将图像由12通道转为64通道，再使用缩放倍数为2的PixelUnshuffle方法将图像的长和宽缩小为输入图像的1/4，通道数变为256，最后使用卷积核大小为3*3的二维卷积将图像由256通道转为64通道；
残差块部分为N个结构相同的残差块(ResidualBlock)，每个残差块由卷积核大小为3*3的二维卷积、线性整流单元、卷积核大小为3*3的卷积组成，个数N为16；
Conv3*3为一个卷积核大小为3*3的二维卷积；
通道注意力模块(SeBlock)，由步长为2的3*3二维卷积、全局池化层、全连接层、线性整流单元、全连接层、Sigmoid激活函数构成；S...

【专利技术属性】
技术研发人员：颜成钢，肇恒润，孙垚棋，张继勇，李宗鹏，张勇东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33