一种基于多尺度注意级联网络的图像超分辨率重建方法技术

本发明专利技术提供了一种基于多尺度注意级联网络的图像超分辨率重建方法，首先使用卷积操作提取低分辨率图像的浅层特征；然后，将浅层特征输入特征提取子网，获得级联特征；进一步，将级联特征通过卷积核为1的卷积层，获得优化的特征；将优化后的特征输入图像深度学习上采样模块获得重建图像

【技术实现步骤摘要】
一种基于多尺度注意级联网络的图像超分辨率重建方法
本专利技术属于图像修复领域，涉及图像超分辨率重建方法，具体为一种基于多尺度注意级联网络的图像超分辨率重建方法。
技术介绍
单图像超分辨率重建(SISR)最近受到了广泛的关注。一般来说，SISR的目的是从低分辨率(LR)输入中产生视觉高分辨率(HR)输出。然而，整个过程却完全不可逆，因为LR和HR之间的映射有多个解决方案。因此，提出了大量的图像超分辨率重建(SR)方法，从早期基于插值的方法和基于模型的方法，到最近基于深度学习的方法。基于插值的方法简单而快速,但是因为图像质量差无法更广泛的应用。对于更灵活的SR方法,通过利用强大的图像先验，如非局部相似度，提出了更先进的基于模型的方法和稀疏矩阵的方法，虽然这种基于模型的方法可以灵活地产生相对高质量的HR图像,但它们仍然有一些缺点：1)这样的方法经常涉及一个耗时的优化过程；2)当图像统计从图像上发生偏置时,重建性能可能会迅速降低。目前,卷积神经网络(CNNs)已经表明,它们可以在SISR问题中提供显著的性能。但现有的SR模型有以下问题：本文档来自技高网...

【技术保护点】
1.一种基于多尺度注意级联网络的图像超分辨率重建方法，其特征在于，包括以下步骤：/n步骤1)将低分辨率图像I

【技术特征摘要】
1.一种基于多尺度注意级联网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1)将低分辨率图像ILR作为多尺度注意级联网络的输入,对ILR进行一个卷积操作，提取浅层特征F0；
步骤2)将浅层特征F0输入由n个多尺度注意块构成的特征提取子网，将子网中每个多尺度注意块输出的特征进行级联，获得级联特征Fc；
步骤3)将级联特征Fc通过一个卷积核为1的卷积层，获得优化的特征向量Fd，优化后的特征向量Fd可以更有效、直观地进行数据的训练和特征提取，具体表示如下：
Fd＝Conv1×1(Fc)
其中，Conv1×1(·)表示卷积核为1的卷积操作；
步骤4)将优化的特征向量Fd输入图像深度学习上采样模块中，获得重建图像
步骤5)对低分辨率图像ILR采用双三次线性插值算法获得重建图像将和进行融合，获得最终的重建图像ISR，具体如下：





2.根据权利要求1所述的一种基于多尺度注意级联网络的图像超分辨率重建方法，其特征在于：步骤2所述的特征提取子网由n个多尺度注意块组成，其中，第i个多尺度注意块，其输入为前一个多尺度注意块的特征输出Fi-1，输出特征为Fi；
进一步，所述的每个多尺度注意块由U形结构模块、瓶颈层结构模块和残差模块三部分组成；
对于第i个多尺度注意块中的U形结构模块，其输入为前一个多尺度注意块的输出特征Fi-1，通过U形结构模块的处理后，得到特征Fi,0；
对于第i个多尺度注意块中的瓶颈层结构模块，该瓶颈层结构模块由两个瓶颈层串联构成；前一个多尺度注意块的输出特征Fi-1输入第一瓶颈层，第一瓶颈层的输出输入第二瓶颈层，第二瓶颈层同时接收该多尺度注意块中U形结构模块的输出特征Fi,0，经过上述过程得到瓶颈层结构模块的输出特征Fi,2；
对于第i个多尺度注意块中的残差模块具体为：将前一个多尺度注意块的输出特征Fi-1和瓶颈层结构的输出特征Fi,2逐点相加，得到特征Fi。


3.根据权利要求2所述的一种基于多尺度注意级联网络的图像超分辨率重建方法，其特征在于：
所述的U形结构模块由非局部均值、3×3卷积、5×5卷积、7×7卷积、注意力机制、5×5卷积、3×3卷积、非局部均值串联构成；其中，两个3×3卷积之间含有一个Concat层；两个5×5卷积卷积之间含有一个Concat层；第一个5×5卷积的输入为第一个非局部均值的输出与第一个3×3...

【专利技术属性】
技术研发人员：付利华，李宗刚，张博，陈辉，赵茹，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11