单张图像超分辨率重建系统及方法技术方案

本发明专利技术公开了一种单张图像超分辨率重建系统及方法，包括嵌入网络、级联的细提取块和重建网络，采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。本发明专利技术实现了单张图像的超分辨率重建，复杂度低、效果好。

【技术实现步骤摘要】
单张图像超分辨率重建系统及方法
本专利技术属于图像处理领域，特别涉及一种单张图像的超分辨率重建方法。
技术介绍
单张图像超分辨率是计算机视觉领域的一个热门话题。它广泛应用于各个领域，包括人脸识别、卫星成像和医学成像等。超分辨率重建的目的是从给定的低分辨率图像中恢复高分辨率图像。然而，当上采样因子较大时，恢复图像中的高频信息就变得非常困难。因此，很有必要从低分辨率图像中收集更大范围内有用的上下文信息，以便捕获足够的信息来恢复高分辨率图像中的高频细节。本专利技术主要关注的是基于学习的方法，这是近年来最流行的超分辨率重建方法。这种方法主要学习低分辨率图像和高分辨率图像之间的映射关系并且实现了较好的重建效果。2014年Dong等人提出了一种具有三个卷积层的卷积神经网络(SRCNN)，直接学习低分辨率图像和高分辨率图像之间的映射，与以前的方法相比，该方法具有更好的性能。然而，当网络层数加深时，网络的收敛速度变得很慢并且网络训练变得非常困难。为了克服SRCNN的局限性，Kim等人提出了一种非常深的网络(VDSR)，通过采用高学习率去提高收敛速度，同时采用残差学习和梯度裁剪的方式解决了梯度爆炸的问题。同时，Kim等人提出了一种深度递归卷积网络(DRCN)去解决由于网络层数加深而引起的参数增加的问题，并且运用递归机制和跳跃连接去降低训练的复杂度。为了得到放大因子为8的模型，Lai等人提出了一种名为LapSRN的网络，其在一个前馈过程中利用拉普拉斯金字塔去产生不同尺度的中间预测结果。而现存的基于卷积神经网络的方法没有提供如此的灵活性。为了减少参数，Lai等人在LapSRN的基础上做了进一步改进，提出了MS-LapSRN，其通过使用递归结构达到了减少参数的目的并且提高了重建性能。然而，现有技术中，对于单张图像的超分辨率重建，仍然较为复杂，重建效果不佳。
技术实现思路
本专利技术的目的是提供一种单张图像的超分辨率重建系统及方法，降低了重建复杂度和提升了重建效果。为了实现上述目的，本专利技术提供了一种单张图像的超分辨率重建方法，包括以下步骤：采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。可选的，在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征；第二个卷积层的结果要和细提取块的结果相加，第二个卷积层中使用64个大小为3×3的卷积核；分别定义嵌入网络的输入图像为x，嵌入网络的输出图像为y；对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：L1＝f1(x),L2＝f2(L1)其中，f1,f2为特征提取函数，L1,L2分别为第一个卷积层和第二个卷积层提取的特征。可选的，级联的细提取块由七个卷积层构成。前六个卷积层通过不同数量大小为的卷积核来提取粗到细的特征，第七个卷积层使用64个大小为的卷积核来去除冗余的信息。可选的，对于两个级联的细提取块，该过程表示为：L3＝F1(L2),L4＝F2(L3)其中F1,F2分别代表第一个细提取块和第二个细提取块的映射函数；L3,L4分别为第一个细提取块和第二个细提取块得到的特征图；特别地，对于每一个细提取块；它由六个3×3的卷积层和一个1×1的卷积层构成；在细提取块中，假设每一层输出的特征图的维度为mi(i＝1,...,7)，于是有：m1-m2＝m3-m1＝m4-m5＝m6-m4其中m3＝m4；记第三个卷积层的输出为O3；划分出O3特征图的维与嵌入网络第二个卷积层输出的特征图融合在一起，该过程表示为：T1＝C(S(O3,1/p),L2)其中S为划分操作，C为融合操作，p为划分因子。划分之后，剩余的部分接着进行卷积操作；记第六个卷积层的输出为O6，将前面融合的结果与第六层的输出相加，该过程表示为：T2＝O6+T1接着，通过一个1×1的卷积层去除冗余的信息从而获得了L3：L3＝fk(T2),k＝1,2,其中f1,f2分别是第一个细提取块和第二个细提取块中1×1卷积层的特征提取函数。可选的，反卷积操作被用来恢复特征并获得残差图像；该过程为：D1＝R1(L3),D2＝R2(L4)其中R1,R2为反卷积操作，D1,D2是重建网络的输出。可选的，将得到的残差图像与上采样的输入图像相加得到最终重建的高分辨率图像y；通过以下过程实现：y＝R1(L3)+R2(L4)+B(x)其中，B为双三次插值操作。本专利技术还提供了一种单张图像超分辨率重建系统，包括嵌入网络、级联的细提取块和重建网络，采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。与现有技术相比，本专利技术的有益效果在于：本专利技术利用了嵌入网络、级联的细提取块和重建网络，利用卷积层提取图像的特征，并运用残差网络学习低分辨率图像和高分辨率图像之间的映射关系，从而更好地表达图像特征。最后结合上采样的低分辨率图像和学习到的残差图像来重建高分辨率图像，考虑到残差学习和级联结构在超分辨率中可以减轻直接重建图像的复杂度。本专利技术实现了单张图像的超分辨率重建，复杂度低、效果好。附图说明图1a放大倍数为2时的低分辨率图像；图1b放大倍数为2时本专利技术重建的高分辨率图像；图2a放大倍数为3时的低分辨率图像；图2b放大倍数为3时本专利技术重建的高分辨率图像；图3为本专利技术超分辨率图像重建方法总体流程示意图；图4为本专利技术超分辨率图像重建算方中细提取块的示意图，其中数字代表特征图的维度。具体实施方式本专利技术利用卷积层提取图像的特征，并运用残差网络学习低分辨率图像和高分辨率图像之间的映射关系，从而更好地表达图像特征。最后结合上采样的低分辨率图像和学习到的残差图像来重建高分辨率图像。本专利技术的基本思路为：首先，使用两个卷积层，用于从原始的低分辨率图像中提取特征；其次，两个级联的细提取块通过一种粗到细的方式从低分辨率特征中重建高分辨率残差特征；再次，重建的高分辨率特征被送到重建网络中通过反卷积的操作得到高分辨率残差图像；最后，上采样的低分辨率图像和高分辨率残差图像经过一个求和操作得到最终的高分辨率图像；步骤一：在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征。考虑到宽卷积可能会增加本文档来自技高网...

【技术保护点】
1.一种单张图像超分辨率重建方法，其特征在于：包括如下步骤：/n采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；/n两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；/n重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；/n将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。/n

【技术特征摘要】
1.一种单张图像超分辨率重建方法，其特征在于：包括如下步骤：
采用嵌入网络通过两个卷积层从原始的低分辨率图像中提取特征；
两个级联的细提取块通过粗到细的方法由低分辨率特征重建高分辨率残差特征；
重建的高分辨率残差特征被送到重建网络通过反卷积操作得到残差图像；
将上采样的低分辨率图像与高分辨率残差图像相加，得到最终重建的高分辨率图像。


2.根据权利要求1所述的单张图像超分辨率重建方法，其特征在于：在嵌入网络中，使用了两个卷积层，第一个卷积层使用了256个大小为3×3的卷积核从原始的低分辨率图像中提取特征；第二个卷积层的结果要和细提取块的结果相加，第二个卷积层中使用64个大小为3×3的卷积核；
分别定义嵌入网络的输入图像为x，嵌入网络的输出图像为y；对于嵌入网络，两个卷积层用来从原始的低分辨率图像中提取更多特征，该过程可以表示为：
L1＝f1(x),L2＝f2(L1)
其中，f1,f2为特征提取函数，L1,L2分别为第一个卷积层和第二个卷积层提取的特征。


3.根据权利要求1所述的单张图像超分辨率重建方法，其特征在于：级联的细提取块由七个卷积层构成。前六个卷积层通过不同数量大小为的卷积核来提取粗到细的特征，第七个卷积层使用64个大小为的卷积核来去除冗余的信息。


4.根据权利要求3所述的单张图像超分辨率重建方法，其特征在于：对于两个级联的细提取块，该过程表示为：
L3＝F1(L2),L4＝F2(L3)
其中F1,F2分别代表第一个细提取块和第二个细提取块的映射函数；L3,L4分别为第一个细提取块和第二个细提取块得到的特征图；特别地，对于每一个细提取块；它由六个3×3的卷积层和一个1×1的卷积层构成；在细提取块中，假设每...

【专利技术属性】
技术研发人员：曹飞龙，陈白洁，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：浙江;33