一种基于可变形残差卷积神经网络的图像超分辨率重建方法技术

本发明专利技术公开一种基于可变形残差卷积神经网络的图像超分辨率重建方法，包括以下步骤：图像预处理、图像特征提取和图像重建，在图像特征提取步骤中，采用了多个可变形卷积残差模块(DeRCB)，在DeRCB模块中，采用可变形卷积层自适应调整采样网格和感受野形状，再采用长短残差组合连接方式，增强模型对局部和全局特征的有效融合，设计利用不同尺度因子(

【技术实现步骤摘要】
一种基于可变形残差卷积神经网络的图像超分辨率重建方法


[0001]本专利技术属于图像处理
，特别涉及一种基于可变形残差卷积神经网络的图像超分辨率重建方法。

技术介绍

[0002]随着数字多媒体技术的快速发展，数字图像成为信息传达的重要表现形式。图像分辨率的高低、携带有用信息量的多少直接关系到人们对信息认知程度的深浅，然而，在实际获取数字图像的过程中，往往会受到诸多因素的影响而导致获取的图像质量下降，例如成像系统内外各种噪声，再加上一些特殊场合需要对数据进行传输、保存、下采样或者压缩，使图像的分辨率及质量进一步恶化，导致人们获取的有价值的图像细节信息大大减少。所以如何有效地提高图像的分辨率及质量以满足应用需求是需要解决的一个问题。
[0003]一般地，可通过提高硬件性能来提升图像的分辨率，方式有两种：一是通过制造工艺的更新换代，二是通过扩大成像芯片的尺寸来增大传感元件的绝对数目。但这两种方式都存在着瓶颈。而且从商业角度考虑，市场上高精度光学设备和高质量的传感器价格较高，大大增加了企业的生产成本。
[0004]为了打破在硬件方面的局限，国内外的许多研究学者从算法入手来提高图像的分辨率。目前，图像的超分辨率重建算法可以分为三类：基于插值的超分辨率算法、基于重建的超分辨率算法以及基于学习的超分辨率算法。基于学习的超分辨率重建算法可获得相对较好的重建效果，已经成为当前超分辨率重建研究的热点，但传统的基于学习的超分辨率重建算法在特征提取与表达能力有限，导致重建得到的图像效果不佳，不能满足人们对高质量图像的要求。
[0005]近年来，深度学习在图像、语音、文本等数据上的成功应用引起了学术界和工业界的广泛关注，与其它传统的基于学习的算法相比，它端到端的训练模式和超强的特征提取与学习能力有很大的优越性，因此，越来越多的国内外学者将深度学习应用到图像超分辨率重建研究中。其中基于卷积神经网络的图像超分辨率重建算法取得了良好的重建性能，但经典的基于深度卷积神经网络的图像超分辨率重建算法(Image Super
‑
Resolution Using Deep Convolutional Networks，SRCNN)存在网络层较少、感受野小、模型泛化能力差等缺陷。

技术实现思路

[0006]本专利技术针对现有技术中存在的技术问题，提供一种基于可变形残差卷积神经网络的图像超分辨率重建方法，采用可变形卷积层自适应调整模型采样网格和感受野形状，再采用长短残差组合连接方式，增强了模型对图像局部和全局特征的有效融合，设计利用不同尺度因子模糊的低分辨率图像交叉训练网络，增强模型对不同模糊程度的图像重建的泛化能力。
[0007]本专利技术采用的技术方案是：一种基于可变形残差卷积神经网络的图像超分辨率重
建方法，包括以下步骤：
[0008](1)图像预处理
[0009]为了更好地利用深度学习框架Pytorch进行训练，未将这个预处理过程包含在训练网络中。图像预处理部分主要包括以下步骤：
[0010]S1：将训练集中的高分辨率I
H
分别按照缩放尺度为
×
2、
×
3、
×
4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为I
L2
、I
L3
、I
L4
；
[0011]S2：将I
L2
、I
L3
、I
L4
不重叠裁剪为41
×
41大小的子图像块，分别记为I
L2
‑
sub
、I
L3
‑
sub
、I
L4
‑
sub
；再将I
H
不重叠裁剪成与I
L2
‑
sub
、I
L3
‑
sub
、I
L4
‑
sub
相对应的子图像块作为标签，分别记为I
H2
‑
sub
、I
H3
‑
sub
、I
H4
‑
sub
；
[0012]S3：按照I
L2
‑
sub
‑
I
H2
‑
sub
、I
L3
‑
sub
‑
I
H3
‑
sub
、I
L4
‑
sub
‑
I
H4
‑
sub
相对应的图像对形式保存，作为卷积神经网络输入层的数据。
[0013](2)图像特征提取
[0014]特征提取的主要目的是利用卷积神经网络来学习高分辨率图像和低分辨率图像之间的映射关系。模型中每一层可变形卷积层和传统卷积层后都有一个整流线性单元(Rectified Linear Unit，ReLU)作为激活函数。整个训练学习的过程都在NVIDIA TITAN V显卡上进行，软件平台为Pytorch深度学习框架。对输入的图像进行特征提取主要有以下步骤：
[0015]S1：输入的图像通过第一层卷积核为3
×
3大小、通道数为64的卷积层，再进入DeRCB_1模块；
[0016]S2：进入DeRCB_1模块后，采用含有可变形卷积层进行特征提取，再采用密集连接的方式进行模块之间的对称残差链接，实现不同阶段的特征相互融合，输出特征图Feature_DeRCB_1；
[0017]S3：将特征图Feature_DeRCB_1输入到DeRCB_2模块中，重复S2中学习步骤，将得到的特征图记为Feature_DeRCB_2，再将其输入到下一个DeRCB模块中；
[0018]S4：最终经过16个DeRCB模块后，DeRCB_16模块获得特征图与第一层卷积层提取的特征图进行残差链接得到特征图DeRCB_16_Sum；
[0019]DeRCB模块中，假设R＝{(
‑
1，
‑
1)，(
‑
1，0)，...，(0，1)，(1，1)}为尺寸大小为3
×
3的卷积核，传统标准的卷积操作的输出的特征图y
stand_conv
为
[0020][0021]式中p0为输入的特征图中像素位置，p
n
为卷积核R中的位置，x(p0+p
n
)为输入特征图中任意位置的像素，w(p
n
)为卷积核中的权重。
[0022]然后将获得的特征图y
stand_conv
输入到可变形卷积层中，对于任意像素位置p0，可变形卷积操作的输出的特征图y
deform_conv
表示为
[0023][0024本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形残差卷积神经网络的图像超分辨率重建方法，其特征在于：包括以下步骤：图像预处理：S1：将训练使用的高分辨率图像I
H
分别按照不同缩放尺度的因子进行下采样，得到不同模糊程度的低分辨率图像I
L
；S2：将低分辨率图像按照同一步长不重叠裁剪出子图像块，再将I
H
不重叠裁剪成相对应的子图像块作为标签；S3：将相对应的子图像块对，作为卷积神经网络输入层的数据，训练时交叉输入模型；图像特征提取：S1：输入的图像通过第一层卷积层，再进入DeRCB_1模块；S2：进入DeRCB_1模块后，采用含有可变形卷积层进行特征提取，再采用密集连接的方式进行模块之间的对称残差链接，实现不同阶段的特征相互融合，输出特征图Feature_DeRCB_1；S3：将特征图Feature_DeRCB_1输入到DeRCB_2模块中，重复S2中学习步骤，将得到的特征图记为Feature_DeRCB_2，再将其输入到下一个DeRCB模块中；S4：最终经过16个DeRCB模块后，DeRCB_16模块获得特征图与第一层卷积层提取的特征图进行残差链接得到特征图DeRCB_16_Sum；图像重建：将得到的特征图DeRCB_16_Sum输入到Upscale模块进行上采样纹理细化，得到特征图Feature_Upscale，最终重建出最终的高分辨率图像。2.如权利要求1所述的基于可变形残差卷积神经网络的图像超分辨率重建方法，其特征在于：图像预处理步骤中，S1：将训练集中的高分辨率I
H
分别按照缩放尺度为
×
2、
×
3、
×
4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为I
L2
、I
L3
、I
L4
；S2：将I
L2
、I
L3
、I
L4
不重叠裁剪为41
×
41大小的子图像块，分别记为I
L2
‑
sub
、I
L3
‑
sub
、I
L4
‑
sub
；再将I
H
不重叠裁剪成与I
L2
‑
sub
、I
L3
‑
sub
、I
L4
‑
sub
相对应的子图像块作为标签，分别记为I
H2
‑
sub
、I
H3
‑
sub
、I
H4
‑

【专利技术属性】
技术研发人员：孙叶美，张艳，
申请(专利权)人：天津城建大学，
类型：发明
国别省市：