一种基于通道注意力的单图像超分辨率重建方法和系统技术方案

本发明专利技术提出一种基于通道注意力的单图像超分辨率重建方法和系统，涉及图像重建技术领域。所述方法包括：步骤S1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；步骤S2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；步骤S3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；步骤S4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。式进行图像重建。式进行图像重建。

【技术实现步骤摘要】
一种基于通道注意力的单图像超分辨率重建方法和系统


[0001]本专利技术属于图像重建
，尤其涉及一种基于通道注意力的单图像超分辨率重建方法和系统。

技术介绍

[0002]单图像超分辨率重建技术是将一张模糊、包含信息较少的低分辨率图像通过算法重建为清晰、包含更多信息的高分辨率图像，如图1所示，是计算机视觉领域的重要研究方向。
[0003]高清晰度的图像占据了更大的设备内存，在网络传输中需要更大的带宽，同时高精密设备的价格往往也比较昂贵。此外，图像的获取还受到拍摄条件的影响，抖动、天气、光线等情况都会影响拍摄图像的质量。图像在传递过程中也会受到噪声的干扰，可能会变得模糊，丢失关键纹理信息，以至于不能满足人们的正常需求。
[0004]在现实生活中，图像超分辨率重建应用前景十分广泛。在医学成像领域，通过图像超分辨率重建技术生成清晰的纹理图像，帮助医生对病人病情做出精准的诊断。在安全监测领域，通过该技术重建出嫌疑人或者车辆信息、环境信息来辅助公安机关抓捕罪犯、维护治安；在图像压缩领域，大大降低高分辨率图像对带宽的要求，提高系统的实时性；在卫星遥感成像领域，重建出包含具体细节的纹理，丰富遥感图像的信息内容。
[0005]传统方法主要基于插值或退化模型等数学模型，但由于超分重建任务在数学上属于一对多的病态问题，导致传统方法在实际中难以取得理想效果。目前，基于深度神经网络的超分辨率重建算法通过深层次网络结构来实现，存在两个最主要的问题：(1)不能充分利用网络中的特征信息。深度网络拥有强大学习能力的同时，导致的模型优化困难，信息流的传递和有效利用受到网络深度的影响；(2)参数量巨大。加深网络带来巨大的参数量，模型训练困难，计算成本较高，难以满足实际场景的需求。

技术实现思路

[0006]为了解决以上技术问题，本专利技术提出一种基于通道注意力的单图像超分辨率重建方案。
[0007]本专利技术第一方面公开了一种基于通道注意力的单图像超分辨率重建方法。所述方法包括：
[0008]步骤S1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
[0009]步骤S2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
[0010]步骤S3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；
[0011]步骤S4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式
进行图像重建。
[0012]根据第一方面的方法，在所述步骤S1中，采用64个大小为9
×
9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为C
×
H
×
W的浅层特征图，作为所述原始输入图像的浅层特征，其中，H表示图像高，W表示图像宽，C为特征通道数。
[0013]根据第一方面的方法，在所述步骤S2中，所述多尺度特征提取结构利用64个大小为5
×
5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3
×
3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。
[0014]根据第一方面的方法，在所述步骤S3中，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5
×
5的卷积核对应所述全局通道注意力学习支路，大小为3
×
3的卷积核对应所述局部通道注意力学习支路；其中：
[0015]在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至C
×1×
1，并利用两个1
×
1的卷积完成C个特征通道中每个通道的权重学习；
[0016]其中，第一个1
×
1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1
×
1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。
[0017]根据第一方面的方法，在所述步骤S3中，在所述局部通道注意力学习支路上：
[0018]通过全局平均池化操作将所述第二深度特征的空间维度压缩至C
×1×
1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始特征通道相乘得到所述局部通道注意力学习支路上的特征；
[0019]其中，所述全局平均池化操作维度C
×
H
×
W压缩成C
×1×
1，具体过程如下：
[0020][0021]其中，z
a
表示C个通道中第a个通道压缩后的值，H
GAP
()表示全局平均池化函数，F
DF,a
表示第a个通道的特征，a∈[1,C]；
[0022]其中，所述sigmoid函数表示为：
[0023][0024]其中，将所述所述全局通道注意力学习支路上的特征与所述局部通道注意力学习支路上的特征进行对应级联，从而得到所述非线性变换关系。
[0025]根据第一方面的方法，在所述步骤S4中，将级联特征经过1
×
1的卷积后与所述原始输入图像相加，得到重建图像；其中：
[0026]从所述级联特征中提取出高分辨率图像，随机截取成若干大小为96
×
96的图像块，将经截取的图像块进行2倍下采样至48
×
48大小，得到低分辨率图像；
[0027]基于所述非线性变换关系，利用1
×
1的卷积对所述低分辨率图像进行特征提取，
通过对特征图填充的方式使得图像大小保持48
×
48不变，并在在倒数第二层通过将所述卷积层通道数变更为4，完成卷积后对得到的特征图进行排列组合，并与所述原始输入图像相加得到所述重建图像。
[0028]根据第一方面的方法，在所述方法中，利用损失函数来监督学习过程，所述损失函数为MSE函数或L1函数。
[0029]本专利技术第二方面公开了一种基于通道注意力的单图像超分辨率重建系统。所述系统包括：
[0030]第一处理单元，被配置为：利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；
[0031]第二处理单元，被配置为：利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；
[0032]第三处理单元，被配置为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道注意力的单图像超分辨率重建方法，其特征在于，所述方法包括：步骤S1、利用浅层特征提取模块，通过将原始输入图像的每个像素映射到高位特征空间，来提取所述原始输入图像的浅层特征；步骤S2、利用所述多尺度通道注意力学习模块中的多尺度特征提取结构从所述原始输入图像的浅层特征中提取出深层特征；步骤S3、利用所述多尺度通道注意力学习模块中的通道注意力学习支路对所述深层特征进行通道注意力学习，以获取从低分辨率图像到高分辨率图像的非线性变换关系；步骤S4、基于所述非线性变换关系，利用重建模块，通过改变卷积层通道数的方式进行图像重建。2.根据权利要求1所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S1中，采用64个大小为9
×
9的卷积核对所述原始输入图像进行浅层特征提取，得到64张大小为C
×
H
×
W的浅层特征图，作为所述原始输入图像的浅层特征，其中，H表示图像高，W表示图像宽，C为特征通道数。3.根据权利要求1所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S2中，所述多尺度特征提取结构利用64个大小为5
×
5的卷积核所述原始输入图像的浅层特征中提取出第一深层特征，并利用64个大小为3
×
3的卷积核从所述原始输入图像的浅层特征中提取出第二深层特征。4.根据权利要1所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S3中，所述通道注意力学习支路包括全局通道注意力学习支路和局部通道注意力学习支路，大小为5
×
5的卷积核对应所述全局通道注意力学习支路，大小为3
×
3的卷积核对应所述局部通道注意力学习支路；其中：在所述全局通道注意力学习支路上，通过全局平均池化操作将所述第一深度特征的空间维度压缩至C
×1×
1，并利用两个1
×
1的卷积完成C个特征通道中每个通道的权重学习；其中，第一个1
×
1的卷积通过控制卷积核数量来进行跨通道融合，以减少特征通道的维度，第二个1
×
1的卷积以相同的方式恢复所述特征通道的维度，使得权值个数与特征通道数一一对应，将每个通道的权重与所述第一深度特征的每个原始特征通道相乘得到所述全局通道注意力学习支路上的特征。5.根据权利要4所述的一种基于通道注意力的单图像超分辨率重建方法，其特征在于，在所述步骤S3中，在所述局部通道注意力学习支路上：通过全局平均池化操作将所述第二深度特征的空间维度压缩至C
×1×
1，利用核为3的一维卷积执行局部跨通道交互，以提取局部跨通道交互的依赖关系，并采用sigmoid函数获得局部相邻通道之间的权重，将所述局部相邻通道之间的权重与所述第二深度特征的每个原始...

【专利技术属性】
技术研发人员：李忠博，杨才东，谢永强，齐锦，梁进君，
申请(专利权)人：中国人民解放军军事科学院系统工程研究院，
类型：发明
国别省市：