基于通道注意力机制和多层特征融合的图像超分辨率方法技术

本发明专利技术涉及一种基于通道注意力机制和多层特征融合的图像超分辨率方法，在残差支路开头，使用基于深度学习的单层卷积层直接提取低分辨率图像的原始特征；使用六个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征；通过反卷积层对深度特征进行上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差；在映射支路，使用双三次插值方法对低分辨图像进行上采样，得到高分辨率图像的映射；将高分辨率图像的映射和残差逐像素相加得到最终的高分辨率图像。本发明专利技术设计合理，充分考虑了特征通道间的差异性，高效地利用了层次化的特征，在取得较高准确率的同时，保持了较快的运行速度。

Image Super-resolution Method Based on Channel Attention Mechanism and Multi-layer Feature Fusion

The present invention relates to an image super-resolution method based on channel attention mechanism and multi-layer feature fusion. At the beginning of residual branch, the original features of low-resolution images are extracted directly by using single-layer convolution layer based on depth learning; six cascaded convolution cycle units based on channel attention mechanism and multi-layer feature fusion are used to extract accurate depth features; and deconvolution is used to extract accurate depth features. Depth feature is sampled up by product layer, and the dimension of the sampled feature is reduced by single convolution layer to obtain high resolution image residuals. In the mapping branch, low resolution image is sampled up by bicubic interpolation method to obtain high resolution image mapping. The final high resolution image is obtained by adding the mapping and residuals of high resolution image pixels by pixels. The invention has reasonable design, fully takes into account the differences between characteristic channels, efficiently utilizes the hierarchical characteristics, achieves a higher accuracy, and maintains a faster operation speed.

【技术实现步骤摘要】
基于通道注意力机制和多层特征融合的图像超分辨率方法
本专利技术属于计算机视觉图像
，尤其是一种基于通道注意力机制和多层特征融合的图像超分辨率方法。
技术介绍
随着科学技术的进步，在人们的日常生活中出现了越来越多的图像分辨率格式，从“标清”(StandardDefinition)发展到“高清”(HighDefinition)，进而发展到目前常见的“1080p”、“2K”甚至“4K”等等。更高的分辨率意味着包括更多的图像细节，进而意味着可能存在更大的信息量，更大的信息量蕴含更大的应用潜能。然而，在现实世界中，一方面受成像设备物理性能的限制，人们无法获取高分辨率图像；另一方面，在互联网应用中，受网络带宽、存储介质容量等的限制，用户只能存储、传输分辨率相对较低的图像。而实际上，在多数情况下，人们往往希望获得更高分辨率的图像。因此，如何高效地提高图像分辨率，进而提高图像的质量，是计算机视觉领域的一个重要的研究课题。图像超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像，是从软件的角度解决图像分辨率提升问题的重要技术手段。图像的超分辨率重建为使计算机能够更好地观察、分析、处理图片提供重要的技术支持，在高清晰度电视、医学影像、卫星成像、监控系统等很多领域都具有非常重要的应用价值。传统提高图像分辨率的常用方法之一是插值法，包括双线性插值法、双三次插值法等。插值法容易实现，但是重建出的像素点和其周围的像素点之间存在区域相似性，使得利用插值法可以生成良好的平滑图像，但不能充分重建图像的边缘区域。一些图像细节可能会因此而丢失，比如变化较大、锐度较高的图像元素边缘部分可能会变模糊等等。另一种常用的传统方法是稀疏编码方法。稀疏编码方法假设任意的自然图片都能在转换区域被稀疏地表达，这个转换区域通常是一个图像元素的字典，通过发掘低分辨率图像和高分辨率图像之间的对应关系得到。然而，稀疏编码方法的缺点是将稀疏性限制引入非线性重建中时通常需要较大的计算代价。卷积神经网络是一种专门用来处理具有类似网格结构的数据(例如图像即可以被视为二维的像素网格)的神经网络，已经在大量不同类型的计算机视觉处理任务(如图像分类、图像监测等)中取得成功。目前已经发展出很多基于卷积神经网络的实现图像超分辨率重建的解决方案，比如，基于极深卷积神经网络的超分辨率技术(VDSR)，基于深度递归卷积网络的超分辨率技术(DRCN)等等。但是，这些方法都没有考虑到特征通道之间的不同重要性，或者未能充分地利用层次化的特征，从而取得了较为受限的效果。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种设计合理且兼顾重建准确率和运行速度的基于通道注意力机制和多层特征融合的图像超分辨率方法。本专利技术解决其技术问题是采取以下技术方案实现的：一种基于通道注意力机制和多层特征融合的图像超分辨率方法，包括以下步骤：步骤1、在残差支路开头，使用基于深度学习的单层卷积层直接提取低分辨率图像的原始特征；步骤2、使用六个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征；步骤3、通过反卷积层对深度特征进行上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差；步骤4、在映射支路，使用双三次插值方法对低分辨图像进行上采样，得到高分辨率图像的映射；步骤5、将高分辨率图像的映射和残差逐像素相加得到最终的高分辨率图像。进一步，所述单层卷积层的尺寸为3×3×64。进一步，所述步骤2的具体实现方法包括以下步骤：(1)在卷积循环单元的开头，通过通道注意力机制来自适应地重新校准输入的特征Uk-1，得到校准后的起始特征RO，其中，k＝1，...，6；(2)通过前两个串联的卷积层来提取更深层特征，然后将其与起始特征RO级联起来得到浅层特征RC1；再将浅层特征RC1通过后两个串联的卷积层，并将得到的特征与浅层特征RC1级联起来，得到深层特征RC2，该深层特征RC2包括起始特征和浅层特征在内的多层特征；其中，前两个串联的卷积层尺寸为3×3×64，后两个卷积层的尺寸为3×3×128；(3)通过深度学习的卷积层对深层特征RC2进行降维得到尺寸为1×1×256的降维层，并将降维后的特征与低分辨率图像Ilr的原始特征U0逐像素相加，得到第k个卷积循环单元的输出Uk。进一步，所述步骤(1)的具体实现方法为：①对循环卷积单元的输入特征Uk-1进行全局池化，提取其全局语义信息，然后经过卷积层、ReLU非线性变换、卷积层和Sigmoid非线性变换后得到通道校准系数向量β；②使用通道校准系数向量β对输入特征Uk-1进行重新校准。进一步，在步骤3中，反卷积层的尺寸为3×3×64：降维层的尺寸为3×3×1。本专利技术的优点和积极效果是：1、本专利技术在残差支路和映射支路分别采用如下方式处理：在残差支路使用深度卷积神经网络模型直接从低分辨率图像中提取原始特征，从而获得更准确的特征表示，利用通道注意力机制，自适应地重新校准每一个输入卷积循环单元的特征，提高了网络的表达能力，利用多层特征融合机制高效且充分地利用了层次化的特征，增强了特征的语义信息，同时也减小了因特征信息缺失而造成的重建模糊；在映射支路使用双三次线性上采样低分辨率图像得到其高分辨率映射图像，进一步迫使残差支路利用强大的卷积神经网络明确地学习图像残差，提高了重建图像的细节质量。2、本专利技术设计合理，其利用循环卷积的特性，减少了网络的参数量，使用Laplace金字塔结构来提高图像分辨率，网络的输出是高分辨率的图像，使用低分辨率和高分辨率图像对计算超分辨率准确率，最后以平均绝对损失函数为目标来训练网络，在保证重建质量的同时，提高了运行速度，不仅提高图像超分辨率性能，也能够兼顾运行时间。附图说明图1是本专利技术的网络框架图；图2是本专利技术的卷积循环单元的框架图；图3是本专利技术的通道注意力机制的框架图；图4是本专利技术与其他算法在Urban100数据集下4倍放大时的精度和速度对比图。具体实施方式以下结合附图对本专利技术实施例做进一步详述。本实施例以2倍图像超分辨率为例进行说明。一种基于通道注意力机制和多层特征融合的图像超分辨率方法，如图1至图3所示，包括以下步骤：步骤S1、在残差支路开头，通过基于深度学习的单层卷积层直接提取低分辨率图像Ilr的原始特征U0。在本步骤中，卷积层尺寸为3×3×64。步骤S2、应用6个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征。步骤S2的具体实现方法如下：步骤S2.1、在卷积循环单元的开头，通过通道注意力机制来自适应地重新校准输入的特征Uk-1，得到校准后的起始特征RO，其中，k＝1，...，6。步骤S2.1的具体实现方法如下：步骤S2.1.1、对循环卷积单元的输入特征Uk-1进行全局池化，提取其全局语义信息，然后经过卷积层、ReLU非线性变换、卷积层和Sigmoid非线性变换后得到通道校准系数向量β。步骤S2.1.2、使用通道校准系数向量β对输入特征Uk-1进行重新校准。步骤S2.2、通过前两个串联的卷积层来提取更深层特征，然后将其与起始特征RO级联起来得到浅层特征RC1；再将浅层特征RC1通过后两个串联的卷积层，并将得到的特征与浅层特征RC1级联起来，本文档来自技高网...

【技术保护点】
1.一种基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于包括以下步骤：步骤1、在残差支路开头，使用基于深度学习的单层卷积层直接提取低分辨率图像的原始特征；步骤2、使用六个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征；步骤3、通过反卷积层对深度特征进行上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差；步骤4、在映射支路，使用双三次插值方法对低分辨图像进行上采样，得到高分辨率图像的映射；步骤5、将高分辨率图像的映射和残差逐像素相加得到最终的高分辨率图像。

【技术特征摘要】
1.一种基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于包括以下步骤：步骤1、在残差支路开头，使用基于深度学习的单层卷积层直接提取低分辨率图像的原始特征；步骤2、使用六个级联的基于通道注意力机制和多层特征融合的卷积循环单元来提取精确的深度特征；步骤3、通过反卷积层对深度特征进行上采样，并且使用单层卷积层对上采样的特征进行降维，得到高分辨率图像的残差；步骤4、在映射支路，使用双三次插值方法对低分辨图像进行上采样，得到高分辨率图像的映射；步骤5、将高分辨率图像的映射和残差逐像素相加得到最终的高分辨率图像。2.根据权利要求1所述的基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于：所述单层卷积层的尺寸为3×3×64。3.根据权利要求1所述的基于通道注意力机制和多层特征融合的图像超分辨率方法，其特征在于：所述步骤2的具体实现方法包括以下步骤：(1)在卷积循环单元的开头，通过通道注意力机制来自适应地重新校准输入的特征Uk-1，得到校准后的起始特征RO，其中，k＝1，...，6；(2)通过前两个串联的卷积层来提取更深层特征，然后...

【专利技术属性】
技术研发人员：卢越，解伟，郭晓强，姜竹青，门爱东，
申请(专利权)人：国家新闻出版广电总局广播科学研究院，北京邮电大学，
类型：发明
国别省市：北京,11