一种关注前景信息的图像超分辨率重建方法技术

本发明专利技术公开了一种关注前景信息的图像超分辨率重建方法，通过PAM模块提取图像的前景信息和高频特征，使用门控网络提取通道域注意力和空间域注意力权重系数，配合非均匀联合损失在反向传播过程中动态修改二者权重。进一步提出PAMNet，在PAMNet中串联多个PAM模块，同时引入跳跃连接，充分利用图像浅层特征，通过设计的网络进行训练，完成超分辨图像的重建。本发明专利技术不仅能够专注图像前景信息和鉴别特征提取，同时保留图像的色彩和纹理特征，提高浅层利用率；本发明专利技术能够减少参数量的同时拥有较好的客观评分；本发明专利技术在性能和模型复杂度间取得了良好的平衡，PAM模块具有通用性，可以嵌入多类网络结构中。类网络结构中。类网络结构中。

【技术实现步骤摘要】
一种关注前景信息的图像超分辨率重建方法


[0001]本专利技术涉及图像处理与识别方法
，具体地指一种关注前景信息的图像超分辨率重建方法。

技术介绍

[0002]图像超分辨重建(Super
‑
Resolution，SR)是一种利用低分辨率图像恢复得到高分辨率图像的图像处理技术。SR技术旨在不改变物理成像设备的限制下，通过信号处理和软件方法提高图像分辨率，SR不仅有重要的学术研究价值，并且在很多领域得到了实际应用，如医学成像、视频安全监控、遥感图像处理等。SR技术除了能够提升图像质量，也可以改善许多计算机视觉任务，提高图像分辨率以获得高质量图像已成为研究界迫切需要解决的问题。
[0003]单幅图像超分辨重建(Single Image Super
‑
Resolution，SISR)是图像超分辨重建领域的研究热点。SISR仅利用单个低分辨率图像为输入，重建具有丰富图像细节和清晰纹理的高分辨率(High Resolution，HR)图像，实用价值很高。SISR算法主要分为三类：基于插值的方法、基于重建的方法、基于学习的方法。基于插值的方法如双三次插值等会大量丢失图像细节，重建后的图像严重失真，清晰度低。基于重建的方法如邻域嵌入法、稀疏表示法等采用传统机器学习算法得到的模型，重建图片质量相对较高，但可扩展性较差。随着深度学习和生成对抗网络的发展，基于学习的方法不断涌现新的新型网络，在提高图像细节和纹理特征方面表现出不错的性能，重建生成的HR图像更为逼真，图像超分辨率取得了较大的进步。
[0004]残差网络使用残差学习，在网络设计中使用了跳过连接方式进行残差单元中的直接映射，基于残差学习的深度模型VDSR通过引入残差结构提升模型性能，但存在训练参数量大、重建图像背景不清晰等问题。EDSR去除了BN层，通过减小BN层的内存消耗以堆叠更多的层提升重建图像的质量，但由于仅使用L1损失进行训练，重建图像的客观指标较低。
[0005]目前，图像处理的超分辨率任务依旧存在未充分利用图像浅层特征、图像前景不突出、缺乏视觉重点等问题。

技术实现思路

[0006]针对上述图像处理中超分辨率任务依旧存在未充分利用图像浅层特征、图像前景不突出、缺乏视觉重点的问题，本专利技术提出一种关注前景信息的图像超分辨率重建方法，关注图像前景信息和细节特征的同时降低训练参数量，提高了图像浅层特征利用率和模型性能，极大提高了图像超分辨率的视觉质量。
[0007]为实现上述目的，本专利技术所设计的一种关注前景信息的图像超分辨率重建方法，所述方法包括以下步骤：1）获取待训练图像，对图像数据预处理，得到特征图X
ϵ
R
C
×
H
×
W
，R
C
×
H
×
W
表示图像的参数，R表示实数集，C表示通道数，H、W表示图像大小；
2）对所述特征图X
ϵ
R
C
×
H
×
W
进行特征提取，得到特征输出图S
LF
ϵ
R
C
×
H
×
W
；3）基于所述特征输出图S
LF
ϵ
R
C
×
H
×
W
的图像特征进行图像重建；4）采用损失函数对所示重建图像进行训练，得到超分辨率图像SR；其特殊之处在于，所述步骤2）的具体步骤包括：2.1）将特征图X输入PAMNet网络的特征提取层，通过N个串行的PAM模块基础单元，图像的残差浅层特征经过多次计算和传递，使用跳跃连接将所有前置的N
‑
2个PAM模块的浅层特征输入到第N
‑
1个PAM模块的末端并在通道维度进行拼接操作，得到图像残差浅层特征图S
ϵ
R
10C
×
H
×
W
；2.2）将所述图像残差浅层特征图S
ϵ
R
10C
×
H
×
W
，采用1
×
1的卷积降维并聚合浅层特征，得到维度为(C,H,W)的特征图S
L
ϵ
R
C
×
H
×
W
；2.3）将所述特征图S
L
ϵ
R
C
×
H
×
W
通过第N个PAM模块，得到提取的特征输出图S
LF
ϵ
R
C
×
H
×
W
。
[0008]优选地，所述步骤1）的具体步骤包括：1.1）选取训练样本图像作为训练样本图像集；1.2）从所述训练样本图像集中随机选取n张原图像进行裁切、镜像反转操作，对每张原图像随机分割出m
×
m的图像，记为I
SR
(x),x=1,2,
……
n；然后随机选取其中q个子图像作为训练图像；1.3）将所述训练图像I
SR
(x)输入到PAMNet网络的下采样层，通过两次串行的L
×
L卷积核对所述待训练图像分别进行卷积操作，初步提取图像色彩、轮廓和纹理特征，并增加特征图通道数，得到n张待训练的图像；每次L
×
L卷积层由三层卷积层构成：先通过L
×
L的卷积层，再通过一个L
×
L的BN层和一个L
×
L的Relu层；通过第1次卷积得到m
×
m的特征图D；通过第2次卷积得到m
×
m的特征图X；1.4）所述PAMNet网络的下采样层最终输出m
×
m的图像特征图 X
ϵ
R
C
×
H
×
W
，其中，R
C
×
H
×
W
表示图像的参数，R表示实数集，C表示通道数，H、W表示图像大小，且H=W=m。
[0009]优选地，所述步骤1.3）中每次进行卷积操作的L
×
L卷积层都由三层卷积层构成：L
×
L的卷积层、L
×
L的BN层和一个L
×
L的Relu层；通过第1次卷积得到m
×
m的特征图D；通过第2次卷积得到m
×
m的特征图X。
[0010]优选地，所述步骤2.1）的具体步骤包括：2.1.1）当特征图X输入到t时刻的tPAM模块中，对于第1个PAM模块，将X
ϵ
R
C
×
H
×
W
输入到残差模块Residual做卷积操作得到输出特征图X
R
ϵ
R
C
...

【技术保护点】

【技术特征摘要】
1.一种关注前景信息的图像超分辨率重建方法，所述方法包括以下步骤：1）获取待训练图像，对图像数据预处理，得到特征图X
ϵ
R
C
×
H
×
W
， R
C
×
H
×
W
表示图像的参数，R表示实数集，C表示通道数，H、W表示图像大小；2）对所述特征图X
ϵ
R
C
×
H
×
W
进行特征提取，得到特征输出图S
LF
ϵ
R
C
×
H
×
W
；3）基于所述特征输出图S
LF
ϵ
R
C
×
H
×
W
的图像特征进行图像重建；4）采用损失函数对所示重建图像进行训练，得到超分辨率图像SR；其特征在于：所述步骤2）的具体步骤包括：2.1）将特征图X输入PAMNet网络的特征提取层，通过N个串行的PAM模块基础单元，图像的残差浅层特征经过多次计算和传递，使用跳跃连接将所有前置的N
‑
2个PAM模块的浅层特征输入到第N
‑
1个PAM模块的末端并在通道维度进行拼接操作，得到图像残差浅层特征图S
ϵ
R
10C
×
H
×
W
；2.2）将所述图像残差浅层特征图S
ϵ
R
10C
×
H
×
W
，采用1
×
1的卷积降维并聚合浅层特征，得到维度为(C,H,W)的特征图S
L
ϵ
R
C
×
H
×
W
；2.3）将所述特征图S
L
ϵ
R
C
×
H
×
W
通过第N个PAM模块，得到提取的特征输出图S
LF
ϵ
R
C
×
H
×
W
。2.根据权利要求1所述的一种关注前景信息的图像超分辨率重建方法，其特征在于：所述步骤1）的具体步骤包括：1.1）选取训练样本图像作为训练样本图像集；1.2）从所述训练样本图像集中随机选取n张原图像进行裁切、镜像反转操作，对每张原图像随机分割出m
×
m的图像，记为I
SR
(x),x=1,2,
……
n；然后随机选取其中q个子图像作为训练图像；1.3）将所述训练图像I
SR
(x)输入到PAMNet网络的下采样层，通过两次串行的L
×
L卷积核对所述待训练图像分别进行卷积操作，初步提取图像色彩、轮廓和纹理特征，并增加特征图通道数，得到n张待训练的图像；1.4）所述PAMNet网络的下采样层最终输出m
×
m的图像特征图 X
ϵ
R
C
×
H
×
W
，其中，C表示通道数，H、W表示图像大小，且H=W=m。3.根据权利要求2所述的一种关注前景信息的图像超分辨率重建方法，其特征在于：所述步骤1.3）中每次进行卷积操作的L
×
L卷积层都由三层卷积层构成：L
×
L的卷积层、L
×
L的BN层和一个L
×
L的Relu层；通过第1次卷积得到m
×
m的特征图D；通过第2次卷积得到m
×
m的特征图X。4.根据权利要求2所述的一种关注前景信息的图像超分辨率重建方法，其特征在于：所述步骤2.1）的具体步骤包括：2.1.1）当特征图X输入到t时刻的tPAM模块中，对于第1个PAM模块，将X
ϵ
R
C
×
H
×
W
输入到残差模块Residual做卷积操作得到输出特征图X
R
ϵ
R
C
×
H
×
W
；2.1.2）将输出特征图X
R
ϵ
R
C
×
H
×
W
同时输入通道域注意力模块Channel Attention和空间域注意力模块Spatial Attention并行计算通道域注意力Y
C
和空间域注意力Y
S
；2.1.3）将所述通道域注意力Y
C
和空间域注意力Y
S
在通道维度进行拼接操作，得到门控网络Gate的输入值G
IN
ϵ
R
2C
×
H
×
W
；2.1.4）将所述门控网络Gate的输入值G
IN
ϵ
R
2C
×
H
×
W
使用1
×
1卷积进行信息融合，将G
IN
的维度降为（C,H,W）；经过两次3
×
3卷积进行特征提取和Sigmoid激活得到取值范围为（0,1）
的激活输出σ
ϵ
R
C
×
H
×
W
；2.1.5）将所述激活输出σ作为线性组合系数分配乘至Y
C
和Y
S
得到输出G
OUT
ϵ
R
C
×
H
×
W
；2.1.6）在反向传播过程中不断更新所述激活输出σ，通过学习的方式动态分配通道域注意力和空间域注意力的权重，专注在权重较高的注意力域提取图像前景信息；2.1.7）将所述门控网络的输出G
OUT
ϵ
R
C
×
H
×
W
与当前时刻的tPAM模块起始输入X
IN
ϵ
R
C
×
H
×
W
加和得到X
OUT
ϵ
R
C
×
H
×
W
；2.1.8）重复N
‑
2次所述步骤2.1.1）~2.1.7）的操作；2.1.9）采用跳跃连接将所有前置的N
‑
2个PAM模块的浅层特征输入到特征提取层的第N
‑
1个PAM模块的末端，在通道维度进行拼接，得到维度为(10C,H,W)的通道维度拼接的图像残差浅层特征图S
ϵ
R
10C
×
H
×
W
，其中H=W=m。5.根据权利要求1所述的一种关注前景信息的图像超分辨率重建方法，其特征在于：所述步骤3）的具体步骤包括：3.1）采用亚像素卷积Pixel
‑
Shuffle方法对所述步骤2）中得到的特征图S
LF
进行a/2倍上采样；然后对图像矩阵进行卷积核b
×
b的卷积操作；再采用Leaky

【专利技术属性】
技术研发人员：何凡，彭丽薇，邓靖凛，吴家俊，程艳芬，李辰皓，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：