本发明专利技术涉及一种基于跳跃连接残差网络的图像超分辨率重建算法，属于图像处理技术领域。本发明专利技术包括步骤：选取训练数据集，将低分辨率图像进行双三次插值；构造网络的具体结构，制定网络训练的策略；对插值后的图像进行细节提取；降低总特征的维度，加宽单像素感受野；对网络训练进行多次迭代，直至达到最大迭代次数；通过全局残差学习的方式完成最终的高分辨率图像重建。本发明专利技术将基于跳跃的残差网络与基于并行通道的子网络相结合，充分利用浅层网络的细节特征，实现深度图像细节特征的快速学习，以及利用可调节梯度裁剪实现网络的快速收敛。
An image super-resolution reconstruction algorithm based on jump-link residual network
【技术实现步骤摘要】
一种基于跳跃连接残差网络的图像超分辨率重建算法
本专利技术涉及一种基于跳跃连接残差网络的图像超分辨率重建算法，属于图像处理
技术介绍
超分辨率即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。高分辨率的图像因像素密度高而能为数字图像处理提供更多重要的细节信息,为图像后期处理打下良好的基础。在监控设备、遥感图像、医疗影像和面部识别等领域具有广泛的应用需求。然而,由于成像设备、光照等条件的限制,获取图像的分辨率往往都较低。所以,如何有效地提高成像图像的质量成为图像处理一项十分关键而重要的任务。图像超分辨率重建技术是目前提高图像分辨率的主要手段之一。目前超分辨率重建的方法主要分为三种：基于插值的方法、基于重建的方法以及基于学习的方法。基于插值的方法是单幅低分辨率图像利用相邻像素间的相关性来重建一幅高分辨率图像，常见的插值方法有三种：最近邻插值法、双线性插值法、双三次插值法。基于重建的方法是通过挖掘低分辨率图像中的高频信息，结合图像的先验信息，求解低分辨率成像的逆过程，来恢复图像中的高频信息。近年来，随着深度学习的不断发展，基于学习的方法在图像超分辨率的问题上表现优异。2016年Dong等人使用一个简单的三层卷积神经网络(SRCNN)成功的将卷积神经网络引入到超分辨率重建中，证明了CNN可以用来学习从低分辨率到高分辨率的端到端的非线性映射。虽然SRCNN成功的将深度学习技术引入到超分辨率的问题中，但是SRCNN存在三个问题需要进行改进：1)依赖于小图像区域的内容；2)训练收敛太慢；3)网络只对于某一个比例有效。Kim等人的网络(AccurateImageSuper-ResolutionUsingVeryDeepConvolutionalNetworks，VDSR)针对SRCNN的不足做了以下改进：1)增加了感受野，在处理大图像上有优势，由SRCNN的13*13变为41*41。2)采用残差图像进行训练，收敛速度变快，因为残差图像更加稀疏，更加容易收敛。3)考虑多个尺度，一个卷积网络可以处理多尺度问题。传统的神经网络基本上都是单向传播，那么在靠后的层，接收到的信号十分的微弱，这种单向传播的网络，被称为短期记忆网络。
技术实现思路
本专利技术提供了一种基于跳跃连接残差网络的图像超分辨率重建算法，以用于现有算法无法充分利用浅层网络的细节特征，获得的重建信息相对较少的问题。本专利技术的技术方案是：一种基于跳跃连接残差网络的图像超分辨率重建算法，包括如下步骤：Step1、选取训练数据集，将低分辨率图像进行双三次插值；Step2、构造网络的具体结构，制定网络训练的策略；Step3、对插值后的图像进行细节提取；Step4、降低总特征的维度，加宽单像素感受野；Step5、对网络训练进行多次迭代，直至达到最大迭代次数；Step6、通过全局残差学习的方式完成最终的高分辨率图像重建。进一步地，所述Step1的具体步骤如下：Step1.1、采用Train291训练数据集，并对训练数据集进行扩展，在训练图像中，将LR图像切片成41x41大小的图像块，切片步长为14；Step1.2、将低分辨率图像转化为灰度图像；Step1.3、将图像隔行隔列抽取元素，得到缩小的图像，设置放大倍数；Step1.4、双线性插值结果比较后，将待插值图像矩阵前后各扩展两行两列，共扩展四行四列，最后利用双三次插值公式对新图像的所有像素进行赋值。进一步地，所述Step2的具体步骤如下：Step2.1、增加网络结构的卷积层，使之为20层；Step2.2、每个卷积层均使用64个滤波器，填充和步长都为1，卷积核大小为3×3，所有卷积块均采用修正线性单元作为激活函数，其表达式为f(x)＝max(0，x)，x为输入信号；Step2.3、因为每次卷积后，图像的尺寸变小，则在下一次卷积前，对图像进行补0操作，使图像恢复到原来大小；Step2.4、再构建并行通道网络；Step2.5、对构建好的网络进行训练；网络训练的策略为：Step2.5.1、采用全局残差的方式进行训练，避免训练过长的时间；Step2.5.2、使用大于0.01的学习率进行训练；Step2.5.3、自适应梯度裁剪，将梯度限制在在其中γ是学习率；Step2.5.4、对双三次插值后的图像进行多尺度(x2,x3,x4)训练。进一步地，所述Step3的具体步骤如下：Step3.1、将插值后的低分辨率图像作为网络的输入，在残差网络块中，堆叠了20个深度卷积块，用于抽取输入图像的特征信息；Step3.2、引入跳跃连接，使得在图像的前向传递中，能够更好的利用浅层特征的高分辨率和深层特征的高语义信息，从不同深度的卷积层中提取高频特征细节信息，利用其丰富的鲁棒特征构建出更加精细的超分辨率图像。进一步地，所述Step4的具体步骤如下：Step4.1、并行通道网络对先前提取到的图像细节特征进行1×1的非线性映射，在降低总特征图维度的同时，给图像表示引入更多的非线性映射；Step4.2、分别通过卷积核为3×3、5×5的滤波器进一步加宽单像素的感受野。进一步地，所述Step5的具体步骤如下：Step5.1、采用Adam方法训练网络，初始学习率为0.01，学习策略为‘step’，每20个epoch学习率降为之前的1/2，权重衰减设置为0.0001，动量参数设置为0.9；Step5.2、对网络训练进行多次迭代，直至达到最大迭代次数。本专利技术的有益效果是：本专利技术提出了一种基于跳跃连接残差网络的图像超分辨率重建算法，将基于跳跃的残差网络与基于并行通道的子网络相结合，充分利用浅层网络的细节特征，实现深度图像细节特征的快速学习，以及利用可调节梯度裁剪实现网络的快速收敛。实验结果表明，本文的方法具有良好的重构能力，在客观评价与主观视觉上都有很高的提高。附图说明图1是本专利技术中的网络结构图；左边的虚线框内是基于跳跃连接的残差网络结构，跳跃连接的引入，使得在图像的前向传递中，能够更好的利用浅层特征的高分辨率和深层特征的高语义信息，从不同深度的卷积层中提取高频信息，利用其丰富的鲁棒特征构建出更加精细的超分辨率图像；右边的虚线框是基于并行通道的子网络结构，并行通道网络对先前通过深层网络提取到的图像特征进行1×1的非线性映射，在降低总特征图维度的同时，给图像表示引入更多的非线性映射。之后，分别通过卷积核为3×3、5×5的滤波器进一步加宽单像素的感受野。图2是本专利技术“134035”(B100)的超分辨率结果比较示意图。具体实施方式实施例1：如图1-2所示，一种基于跳跃连接残差网络的图像超分辨率重建算法，包括如下步骤：Step1、选取训练数据集，将低分辨率图像进行双三次插值；Step2、构造网络的具体结构，制定网络训练的策略；Step3、对插值后的图像进行细节提取；Step4、降低总特征的维度，加宽单像素感受野；Step5、对网络训练进行多次迭代，直至达到最大迭代次数；Step6、通过全局残差学习的方式完成最终的高分辨率图像重建。进一步地，所述Step1的具体步骤如下：Step1.1、采用Train291训练数据集，并对训练数据集进行扩展，在数据准备阶段，将训练数据集旋转900、1800、2700以及缩本文档来自技高网...
【技术保护点】
1.一种基于跳跃连接残差网络的图像超分辨率重建算法，其特征在于：包括如下步骤：Step1、选取训练数据集，将低分辨率图像进行双三次插值；Step2、构造网络的具体结构，制定网络训练的策略；Step3、对插值后的图像进行细节提取；Step4、降低总特征的维度，加宽单像素感受野；Step5、对网络训练进行多次迭代，直至达到最大迭代次数；Step6、通过全局残差学习的方式完成最终的高分辨率图像重建。
【技术特征摘要】
1.一种基于跳跃连接残差网络的图像超分辨率重建算法，其特征在于：包括如下步骤：Step1、选取训练数据集，将低分辨率图像进行双三次插值；Step2、构造网络的具体结构，制定网络训练的策略；Step3、对插值后的图像进行细节提取；Step4、降低总特征的维度，加宽单像素感受野；Step5、对网络训练进行多次迭代，直至达到最大迭代次数；Step6、通过全局残差学习的方式完成最终的高分辨率图像重建。2.根据权利要求1所述的基于跳跃连接残差网络的图像超分辨率重建算法，其特征在于：所述Step1的具体步骤如下：Step1.1、采用Train291训练数据集，并对训练数据集进行扩展，在训练图像中，将LR图像切片成41x41大小的图像块，切片步长为14；Step1.2、将低分辨率图像转化为灰度图像；Step1.3、将图像隔行隔列抽取元素，得到缩小的图像，设置放大倍数；Step1.4、双线性插值结果比较后，将待插值图像矩阵前后各扩展两行两列，共扩展四行四列，最后利用双三次插值公式对新图像的所有像素进行赋值。3.根据权利要求1所述的基于跳跃连接残差网络的图像超分辨率重建算法，其特征在于：所述Step2的具体步骤如下：Step2.1、增加网络结构的卷积层，使之为20层；Step2.2、每个卷积层均使用64个滤波器，填充和步长都为1，卷积核大小为3×3，所有卷积块均采用修正线性单元作为激活函数，其表达式为f(x)＝max(0，x)，x为输入信号；Step2.3、因为每次卷积后，图像的尺寸变小，则在下一次卷积前，对图像进行补0操作，使图像恢复到原来大小；Step2.4、再构建并行通道网络；Step2.5、对构建...
【专利技术属性】
技术研发人员：耿瑞，黄欢，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。