一种图像超分辨率重建网络结构及图像重建效果分析方法技术

本发明专利技术涉及一种图像超分辨率重建网络结构及图像重建效果分析方法，所述网络结构由应用了改进残差块的特征提取部分和应用了加强上采样模块的上采样部分组成，在减少残差块参数量的同时充分利用了图像的多尺度信息，所述加强上采样模块由四个残差块组成，提高了网络的表示能力；同时以出一种图像重建效果分析，该分析方法表明，上述网络结构在参数量更小的同时重建结果较对比实验中其他残差网络模型有更好的视觉效果、更高的峰值信噪比(PSNR)和结构相似度（SSIM）。

【技术实现步骤摘要】
一种图像超分辨率重建网络结构及图像重建效果分析方法
：本专利技术属于图像处理领域，尤其涉及一种图像超分辨率重建网络结构及图像重建效果分析方法。
技术介绍
：单幅图像超分辨率重建是从单幅低分辨率图像中恢复高分辨率图像的计算机视觉处理基本问题。图像超分辨率重建技术在人脸识别、医学影像处理、卫星遥感成像等方面有广泛应用。一幅低分辨率图像对应着无数个高分辨率图像，因此图像超分辨率重建是个不适定问题。针对这一问题，人们提出了各种基于信号处理的传统超分辨率方法，比如利用低分辨率图像内部信息的方法和利用低分辨率图像与高分辨率图像对的外部信息的方法。近些年，深度卷积神经网络极大地促进了这一领域的进步。Dong等人首先提出了超分辨率卷积神经网络(SRCNN)，用三层卷积神经网络建立低分辨率图像与高分辨率图像之间的映射。Shi等人提出了高效亚像素卷积神经网络(ESPCN)，在低分辨率图像上进行卷积，通过亚像素卷积将特征图重新排列得到高分辨率图像。Kim等人提出了深度卷积神经网络(VDSR)，引入残差学习和自适应梯度裁剪来降低训练深层网络的难度。在深度递归卷积神经网络(DRCN)中，采用了递归网络来减少模型参数，并采用多监督策略来融合中间结果。Lim等人提出加强深度残差网络(EDSR)通过跳跃连接来减轻梯度消失问题，用残差块搭建出了超过160层的多尺度深度卷积神经网络(MDSR)。然而用加深和加宽网络的方法来取得更好的超分辨率重建效果，但即使用3×3的小卷积核，网络也会占用很大内存。
技术实现思路
：本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一。为此，本专利技术的一个目的在于提供一种图像超分辨率重建网络结构及图像重建效果分析方法，其特征在于：所述网络结构包含特征提取部分和上采样部分，滤波器数量为64，首先从原始低分辨率输入图像提取特征图的卷积过程表示如下：M0＝Wfe1*ILR+bfe1式中：Wfe1表示一组数量为64，大小为3×3的滤波器，*表示卷积操作，ILR表示输入网络的低分辨率图像，bfe1表示偏移项，M0表示卷积运算后得到的特征图，所述特征提取部分包含m个改进残差块，第i个残差块的输出表示为：Mi＝Fi(Mi-1)式中：i＝1,…,m，Fi表示第i个改进残差块函数，Mi表示第i个改进残差块输出的特征图，所述上采样部分通过加强上采样模块(EUM)和卷积得到网络的输出，表示如下：ISR＝Wup*Fup(Wfe2*Mm+bfe2+M0)+bup式中：Wfe2和Wup分别表示大小为1×1和3×3的滤波器，bfe2、bup表示偏移项，Fup表示上采样模块函数，ISR表示网络输出的高分辨图像。作为优选，所述改进残差块结构采用了分组操作，把64个通道分为每组16通道的4组，对其中一组用3×3卷积提取线性特征，对其他组用3×3卷积加上修正线性单元(ReLU)提取非线性特征，其中的1×1的卷积用于学习通道间相关性，减少分组操作对特征的影响，所述改进残差块使用分组卷积在充分利用了图像的多尺度特征的同时相比于原残差块减少了超过三分之二的参数量。作为优选，所述上采样模块为由加强上采样模块(EUM)组成，所述加强上采样模块(EUM)用四个残差块组成的具有相同结构的残差模块替换了亚像素卷积中输出特征图是输入四倍的复杂卷积层，所述残差模块中包含了ReLU激活函数，加强上采样模块(EUM)可以进行非线性计算，其非线性表示能力较好，连接多路径特征图之后，加强上采样模块(EUM)与亚像素卷积同样地执行像素重排操作，每个加强上采样模块(EUM)会使分辨率变为原来的2倍，尺度因子为2时的上采样部分由一个EUM构成，尺度因子为4时的上采样部分由两个加强上采样模块(EUM)连接构成。作为优选，所述网络结构使用L1范式型的损失函数，如下所示：式中：θ表示网络中各层参数的集合，表示高分辨率重建图像，表示原始高分辨率图像，n表示训练样本的数目。一种图像重建效果分析方法，其特征在于：所述方法包括如下步骤步骤1.实验环境及数据集建立步骤1.1.使用Python在Tensorflow-gpu下搭建网络测试环境。步骤1.2.使用800张2K分辨率图片的DIV2K作为训练集。步骤1.3.使用Set5数据集、Set14数据集、BSD100数据集和Urban100这四个基准数据集作为测试集。步骤2.训练设置，对DIV2K数据集的原始图像进行下采样，以不重叠采样的方式，把低分辨率图像裁剪成大小为32*32的图像块，并将其与相应的原始高分辨率图像块组成训练数据,将每个低分辨率RGB图像块转换到YCbCr色彩空间并将亮度通道Y作为网络的输入，色度通道Cb、Cr使用插值方法进行重建，在网络的最终结构中特征提取部分的改进残差块个数为16，上采样部分的每个残差模块中残差块个数为1，网络的batchsize为32，用He等的方法初始化权重，优化方法选择Adam，为了抑制振荡动量设置为0.9，设置初始学习率为0.0001，每隔20轮学习率减小一半，网络中的3×3卷积层在边界填充0来保证卷积操作不会改变特征图大小，网络经过大概60万次迭代得到最终结果。步骤3.采用峰值信噪比(PSNR)，和结构相似度(SSIM)作为客观评价指标，PSNR基于图像像素点间误差评价图像相似性，计算公式如下：式中：X和Y表示两张大小为m×n的图像，PSNR值越大表明图像超分辨率重建效果越好。SSIM评价指标从亮度、对比度和结构三个方面度量图像相似性，其计算公式如下：SSIM(X,Y)＝l(X,Y)×c(X,Y)×s(X,Y)式中：μX和分别表示图像X的均值和方差，σXY表示图像X和Y的协方差，C1，C2，C3为常数，SSIM值越接近1说明重建的高分辨率图像与原始高分辨率图像相似度越高，图像重建效果越好。步骤4.采用图像超分辨率重建领域常用的数据集Set5、Set14、BSD100和Urban100在PSNR和SSIM两个图像质量评价指标上进行实验，并从中取出2张边缘细节丰富的图像放大后进行细节分析。附图说明图1为专利技术实施例的网络整体结构图图2为专利技术实施例的残差块结构图(a)EDSR中的残差块(b)改进残差块图3为专利技术实施例的上采样方法图(a)亚像素卷积(b)加强上采样图4为专利技术实施例的BSD100数据集中148089的4倍SR重建效果对比图图5为专利技术实施例的Urban100数据集中img_005的4倍SR重建效果对比图图6为专利技术实施例的BSD100测试集下4倍SR各网络的参数量与PSNR图具体实施方式：下面结合附图及实施例对本专利技术做进一步解释。实施例1参见图1，所述图像超分辨率重建网络结构包含特征提取部分和上采样部分，并有64滤波器，首先从原始低分辨率输入图像提取本文档来自技高网...

【技术保护点】
1.一种图像超分辨率重建网络结构，其特征在于：所述网络结构包含特征提取部分和上采样部分，滤波器数量为64，首先从原始低分辨率输入图像提取特征图的卷积过程表示如下：/nM

【技术特征摘要】
1.一种图像超分辨率重建网络结构，其特征在于：所述网络结构包含特征提取部分和上采样部分，滤波器数量为64，首先从原始低分辨率输入图像提取特征图的卷积过程表示如下：
M0＝Wfe1*ILR+bfe1
式中：Wfe1表示一组数量为64，大小为3×3的滤波器，*表示卷积操作，ILR表示输入网络的低分辨率图像，bfe1表示偏移项，M0表示卷积运算后得到的特征图，所述特征提取部分包含m个改进残差块，第i个残差块的输出表示为：
Mi＝Fi(Mi-1)
式中：i＝1,…,m，Fi表示第i个改进残差块函数，Mi表示第i个改进残差块输出的特征图，所述上采样部分通过加强上采样模块(EUM)和卷积得到网络的输出，表示如下：
ISR＝Wup*Fup(Wfe2*Mm+bfe2+M0)+bup
式中：Wfe2和Wup分别表示大小为1×1和3×3的滤波器，bfe2、bup表示偏移项，Fup表示上采样模块函数，ISR表示网络输出的高分辨图像。


2.根据权利要求1所述的一种图像超分辨率重建网络结构，所述改进残差块结构采用了分组操作，把64个通道分为每组16通道的4组，对其中一组用3×3卷积提取线性特征，对其他组用3×3卷积加上修正线性单元(ReLU)提取非线性特征，其中的1×1的卷积用于学习通道间相关性，减少分组操作对特征的影响，所述改进残差块使用分组卷积在充分利用了图像的多尺度特征的同时相比于原残差块减少了超过三分之二的参数量。


3.根据权利要求1所述的一种图像超分辨率重建网络结构，所述上采样模块为由加强上采样模块(EUM)组成，所述加强上采样模块(EUM)用四个残差块组成的具有相同结构的残差模块替换了亚像素卷积中输出特征图是输入四倍的复杂卷积层，所述残差模块中包含了ReLU激活函数，加强上采样模块(EUM)可以进行非线性计算，其非线性表示能力较好，连接多路径特征图之后，加强上采样模块(EUM)与亚像素卷积同样地执行像素重排操作，每个加强上采样模块(EUM)会使分辨率变为原来的2倍，尺度因子为2时的上采样部分由一个EUM构成，尺度因子为4时的上采样部分由两个加强上采样模块(EUM)连接构成。


4.根据权利要求1所述的一种图像超分辨率重建网络结构，在超分辨率重建任务中，所述网络结构使用L1范式型的损失函数，如下所示：



式中：θ表示网络中各层参数的集合，表示高分...

【专利技术属性】
技术研发人员：纪鹏飞，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江;23