一种图像超分辨率重建方法及装置制造方法及图纸

本发明专利技术公开了一种图像超分辨率重建方法及装置，其中方法包括：对低分辨率输入图像进行浅层特征的提取；将浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组成的主干网路，进行特征提取、融合以及增强，得到深层特征；使用亚像素卷积对深层特征进行上采样；利用所得的特征对图像进行重建，得到更高分辨率的图像。本发明专利技术采用多尺度级联注意力残差模块，通过从感受野、宽度与注意力等角度对多种特征进行提取、增强与融合；通过跳跃连接与级联残差，绕过低频信息，整合网络深度上不同层次的特征，从而得到更为丰富的细节；通过本发明专利技术的方法，可以重建出细节更丰富，质量更高的图像，可广泛应用于图像超分辨率重建领域。分辨率重建领域。分辨率重建领域。

【技术实现步骤摘要】
一种图像超分辨率重建方法及装置


[0001]本专利技术涉及图像超分辨率重建领域，尤其涉及一种图像超分辨率重建方法及装置。

技术介绍

[0002]随着计算机技术与人工智能领域的飞速发展，8k、1亿像素等高分辨率词汇不断浮现在人们的视野中，可见人们对于高分辨率图像的需求越来越大。此外，在安防监控、医学图像、遥感领域、人脸识别等领域，图像作为重要的信息载体，高质量图像能够提供更丰富的细节，获取更多可用的信息。因此，提高图像的分辨率在现实生活中将有十分重要的意义。
[0003]近年来，人们对图像分辨率的要求越来越高，超分辨率重建作为一种低水平的视觉任务，已成为计算机视觉领域研究的热点之一。超分辨率解决了从低分辨率输入图像对应重建高分辨率输出图像的问题，通过不断丰富图像的细节，使图像的视觉质量更好、更清晰。
[0004]随着深度学习的不断发展，深度神经网络也广泛应用到图像超分辨率重构上来，并取得不错的重构结果。然而目前主流的算法往往需要非常深的架构和长时间的训练时间，并且网络深度越深，训练难越大，所需的训练技巧也随之增加。同时，低分辨率的输入中包含了丰富的低频信息，这些信息在信道之间被平等对待，对于卷积神经网络的学习也会有一定的阻碍。并且目前用于超分辨率的卷积神经网络无法充分利用多个尺度上的特征，限制了它们的学习能力。因此，如何解决现有问题并重建出高质量是十分必要的。

技术实现思路

[0005]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种基于多尺度级联注意力残差网络的图像超分辨率重建方法及装置。
[0006]本专利技术所采用的技术方案是：
[0007]一种图像超分辨率重建方法，包括以下步骤：
[0008]对低分辨率输入图像进行浅层特征的提取；
[0009]将浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组成的主干网路，进行特征提取、融合以及增强，得到深层特征；
[0010]使用亚像素卷积对深层特征进行上采样；
[0011]利用上采样所得的特征对图像进行重建，得到更高分辨率的图像。
[0012]进一步地，所述对低分辨率输入图像进行浅层特征的提取，包括：
[0013]定义由一个卷积层组成的特征提取组件，从低分辨率输入图像中提取原始特征，具体如下式所示：
[0014]F0＝H
SFE
(I
LR
)
ꢀꢀ
(1)
[0015]其中，H
SFE
(
·
)表示为应用于低分辨率特征提取的卷积运算，I
LR
表示低分辨率的输
入图像，F0表示通过卷积提取的浅层特征。
[0016]进一步地，所述级联残差组包括n个多尺度级联注意力残差模块、n个特征拼接单元、n个特征压缩单元、n个短跳跃连接和1个局部跳跃连接，所述特征压缩单元由一个1x1的卷积组成。
[0017]进一步地，所述级联残差组的公式表达式如下：
[0018]F
m，1
＝H
MCRAB
(F
m
‑1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0019]F
m，2
＝H
MCRAB
(w1×1*[F
m，1
，F
m
‑1]+b)
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0020]…
[0021]F
m，n
＝H
MCRAB
(w1×1*[F
m，n
‑1，F
m，n
‑2]+b)
ꢀꢀꢀꢀꢀꢀꢀ
(4)
[0022]F
m
＝F
m，n
+F
m
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0023]其中，F
m，n
表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，H
MCRAB
表示多尺度级联注意力残差模块的操作，F
m
表示第m个级联残差组的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差。
[0024]进一步地，所述多尺度级联注意力残差模块包括注意力残差单元、误差反馈融合单元、跳跃连接以及级联操作；
[0025]多尺度级联注意力残差模块的公式表达式如下：
[0026]F3×
3，in1
＝w1×1*F
m，n
‑1+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0027]F
3，1
＝H
RAB，3
×3(F3×
3，in1
)+F3×
3，in1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0028]F3×
3，in2
＝w1×1*[F
3，1
，F3×
3，in1
]+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0029]F
3，2
＝H
RAB，3
×3(F3×
3，in2
)+F3×
3，in2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0030]F3×
3_in3
＝w1×1*[F
3，2
，F
3，1
，F3×
3，in1
]+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0031]F5×
5，in1
＝w1×1*F
m，n
‑1+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0032]F
5，1
＝H
RAB，5
×5(F5×
5，in1
)+F5×
5，in1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0033]F5×
5，in2
＝w1×1*[F
5，1
，F5×
5，in1
]+b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0034]F
5，2
＝H
RAB，5
×5(F5×
5，in2
)+F5×
5，in2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0035]F5×
5，in3
＝w1×1*[F
5，2
，F
5，1
，F5×
5，in本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像超分辨率重建方法，其特征在于，包括以下步骤：对低分辨率输入图像进行浅层特征的提取；将浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳连接组成的主干网路，进行特征提取、融合以及增强，得到深层特征；使用亚像素卷积对深层特征进行上采样；利用上采样所得的特征对图像进行重建，得到更高分辨率的图像。2.根据权利要求1所述的一种图像超分辨率重建方法，其特征在于，所述对低分辨率输入图像进行浅层特征的提取，包括：定义由一个卷积层组成的特征提取组件，从低分辨率输入图像中提取原始特征，具体如下式所示：F0＝H
SFE
(I
LR
)
ꢀꢀꢀꢀ
(1)其中，H
SFE
(
·
)表示为应用于低分辨率特征提取的卷积运算，I
LR
表示低分辨率的输入图像，F0表示通过卷积提取的浅层特征。3.根据权利要求1所述的一种图像超分辨率重建方法，其特征在于，所述级联残差组包括n个多尺度级联注意力残差模块、n个特征拼接单元、n个特征压缩单元、n个短跳跃连接和1个局部跳跃连接，所述特征压缩单元由一个1x1的卷积组成。4.根据权利要求3所述的一种图像超分辨率重建方法，其特征在于，所述级联残差组的公式表达式如下：F
m，1
＝H
MCRAB
(F
m
‑1)
ꢀꢀꢀꢀ
(2)F
m，2
＝H
MCRAB
(w1×1*[F
m，1
，F
m
‑1]+b)
ꢀꢀꢀꢀ
(3)
…
F
m，n
＝H
MCRAB
(w1×1*[F
m，n
‑1，F
m，n
‑2]+b)
ꢀꢀꢀꢀ
(4)F
m
＝F
m，n
+F
m
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，F
m，n
表示第m个级联残差组中第n个多尺度级联注意力残差模块的输出特征，H
MCRAB
表示多尺度级联注意力残差模块的操作，F
m
表示第m个级联残差组的输出特征，[]表示特征拼接，w1×1表示1x1卷积的权重，b表示卷积核的偏差。5.根据权利要求3所述的一种图像超分辨率重建方法，其特征在于，所述多尺度级联注意力残差模块包括注意力残差单元、误差反馈融合单元、跳跃连接以及级联操作；多尺度级联注意力残差模块的公式表达式如下：F3×
3，in1
＝w1×1*F
m，n
‑1+b
ꢀꢀꢀꢀ
(6)F
3，1
＝H
RAB，3
×3(F3×
3，in1
)+F3×
3，in1
ꢀꢀꢀꢀ
(7)F3×
3，in2
＝w1×1*[F
3，1
，F3×
3，in1
]+b
ꢀꢀꢀꢀ
(8)F
3，2
＝H
RAB，3
×3(F3×
3，in2
)+F3×
3，in2
ꢀꢀꢀꢀ
(9)F3×
3_in3
＝w1×1*[F
3，2
，F
3，1
，F3×
3，in1
]+b
ꢀꢀꢀꢀ
(10)F5×
5，in1
＝w1×1*F
m，n
‑1+b
ꢀꢀꢀꢀ
(11)F
5，1
＝H
RAB，5
×5(F5×
5，in1
)+F5×
5，in1
ꢀꢀꢀꢀ
(12)F5×
5，in2
＝w1×1*[F
5，1
，F5×
5，in1
]+b
ꢀꢀꢀꢀ
(13)F
5，2
＝H
RAB，5
×5(F5×
5，in2
)+F5×
5，in2
ꢀꢀꢀꢀ
(14)F5×
5，in3
＝w1×1*[F
5，2
，F
5，1
，F5×
5，in1
]+b
ꢀꢀꢀꢀ
(15)
F
m，n
＝H
Confusion
(F3×
3，in3
，F5×
5，in3
)+F
m，n
‑1ꢀꢀꢀꢀ
(16)其中，F3×
3，in1
、F3×
3，in2
、F3×
3，in3
分别表示尺度为3x3时不同阶段的输入特征，F
3，1
、F
3，2
分别表示尺度为3x3时的中间特征，F5×
5，in1
、F5×
5，in2
、F5×
5，in3
分别表示尺度为5x5时不同阶段的输入特征，F
5，1
、F
5，2
分别表示尺度为5x5时的中间特征，H
RAB，3
×3、H
RAB，5
×5分别表示卷积核为3x3和5x5的注意力残差单元，H
Confusion
表示误差反馈融合单元，F
m，n
表示第m个级联残差组...

【专利技术属性】
技术研发人员：史景伦，李显惠，胡晨晨，王骁行，
申请(专利权)人：广东微步智能科技有限公司，
类型：发明
国别省市：