一种多尺度图像超分辨率重建的方法及装置制造方法及图纸

本发明专利技术实施例提供了一种多尺度图像超分辨率重建方法及装置，利用基于残差结构和重建结构的多尺度图像超分辨率重建模型，将第一分辨率图像处理为多尺度的第二分辨率图像，第二分辨率大于第一分辨率。第一分辨率图像通过学习残差，利用更多深层特征，充分恢复高频细节；第一分辨率图像经过多层残差结构之后进入重建结构，重建结构在保持经过的图像分辨率不变的情况下尺寸变大，从而输出不同尺度的第二分辨率图像。针对不同尺度的第二分辨率图像，只需经过相应层数的残差结构，而无需针对不同尺度的第二分辨率图像都经过固定层数的残差结构，节约了处理时间，在保证图像清晰度的前提下提高了图像超分辨率的效率。

【技术实现步骤摘要】
一种多尺度图像超分辨率重建的方法及装置
本专利技术实施例涉及图像处理领域，尤其涉及一种多尺度图像超分辨率重建方法及装置。
技术介绍
传统的低分辨率图像的超分辨率重建主要采用插值法，如最近元法、双线性内插法和三次内插法等。这些方法针对图像上每个像素点的值是用其周围几个点进行计算逼近得到，而这些采用插值法的方法得到的图像过于平滑，丢失了很多高频细节，因此导致最终得到的高分辨率图像不能很好地保留原始图像的细节。目前，低分辨率图像的超分辨率重建也有一些基于深度学习的方法，主要采用大量的高分率图像建立学习库产生学习模型，在对低分年率图像进行恢复的过程中引入由学习模型获得的先验知识，以得到图像的高频细节。但目前这种基于深度学习的方法仅使用了低分辨率图像的表层特征，对于低分辨率的深层特征运用较少。但是，目前的基于深度学习的低分辨率图像的超分辨率重建方法一般仅能获得单尺度的高分辨率图像，若需要获得多尺度的高分辨率图像，则需要建立多个不同尺度的超分辨率模型，利用不同尺度的超分辨率模型获得多尺度的高分辨率图像，过程繁琐；或利用单一模型获得多尺度的高分辨率图像，不能同时获取多尺度的高分辨率图像，效率较低。
技术实现思路
为了解决目前针对低分辨率图像的超分辨率重建方法不能同时获得多尺度的高分辨率图像的问题，本专利技术实施例提供了一种克服上述问题或者至少部分地解决上述问题的多尺度图像超分辨率重建方法。根据本专利技术实施例的第一方面，提供了一种多尺度图像超分辨率重建方法，该方法包括：获取第一分辨率图像；将第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，输出多尺度的第二分辨率图像；多尺度图像超分辨率重建模型为基于第二分辨率图像样本和与其对应的第一分辨率图像样本进行训练后得到，第二分辨率大于第一分辨率；多尺度图像超分辨率重建模型为基于残差结构和重建结构的多层神经网络。根据本专利技术实施例的第二方面，提供了一种多尺度图像超分辨率重建装置，该装置包括：获取模块，用于获取第一分辨率图像；处理模块，用于将第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，输出多尺度的第二分辨率图像；多尺度图像超分辨率重建模型为基于第二分辨率图像样本和与其对应的第一分辨率图像样本进行训练后得到，第二分辨率大于第一分辨率；多尺度图像超分辨率重建模型为基于残差结构和重建结构的多层神经网络。根据本专利技术实施例的第三方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的多尺度图像超分辨率重建方法。根据本专利技术实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的多尺度图像超分辨率重建方法。本专利技术实施例提供了一种多尺度图像超分辨率重建方法及装置，利用基于残差结构和重建结构的多尺度图像超分辨率重建模型，通过多层残差结构和对应不同尺度图像输出的重建结构的网络结构，将第一分辨率图像处理为不同尺度的第二分辨率图像。第一分辨率图像经过多层残差结构之后，在尺寸不变的同时，分辨率增加，且每一层残差结构的输入与上一层残差结构的输入和输出均有关，使第一分辨率图像通过学习残差，用到第一分辨率图像的深层特征，充分恢复第一分辨率图像的高频细节，更好地对图像进行重建；第一分辨率图像经过多层残差结构之后进入重建结构，重建结构在保持经过的图像分辨率不变的情况下尺寸变大，从而输出不同尺度的第二分辨率图像。针对不同尺度的第二分辨率图像，只需经过相应层数的残差结构，而无需针对不同尺度的第二分辨率图像都经过固定层数的残差结构，节约了处理时间，在保证图像清晰度的前提下提高了图像超分辨率的效率，能同时获得不同尺度的第二分辨率图像，操作方便、使用范围广。附图说明图1为根据本专利技术一个优选实施方式的一种多尺度图像超分辨率重建方法的流程示意图；图2为根据本专利技术一个优选实施方式的一种多尺度图像超分辨率重建装置的结构示意图；图3为根据本专利技术一个优选实施方式的一种电子设备的结构示意图；图4为根据本专利技术一个优选实施方式的一种多尺度图像超分辨率重建模型的结构示意图；图5为根据本专利技术一个优选实施方式的残差结构的结构示意图；图6为根据本专利技术一个优选实施方式的重建结构的结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。目前，基于深度学习的低分辨率图像的超分辨率重建方法一般仅能获得单尺度的高分辨率图像，若需要获得多尺度的高分辨率图像，则需要建立多个不同尺度的超分辨率模型，利用不同尺度的超分辨率模型获得多尺度的高分辨率图像，不能同时获取多尺度的高分辨率图像，或利用单一模型获得多尺度的高分辨率图像，不能同时获取多尺度的高分辨率图像，效率较低、过程繁琐。图1为根据本专利技术一个优选实施方式的一种多尺度图像超分辨率重建方法的流程示意图，图4为根据本专利技术一个优选实施方式的一种多尺度图像超分辨率重建模型的结构示意图，如图1和图4所示，本专利技术实施例提供了一种多尺度图像超分辨率重建方法，包括：S101、获取第一分辨率图像。具体地，在步骤S101中，首先需要获取待重建的第一分辨率图像，第一分辨率图像是指需要输入多尺度图像超分辨率重建模型进行处理，从而期望获得的第二分辨率图像对应的原始图像。S102、第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，输出多尺度的第二分辨率图像，第二分辨率大于第一分辨率；多尺度图像超分辨率重建模型为基于第二分辨率图像样本和与其对应的第一分辨率图像样本进行训练后得到；多尺度图像超分辨率重建模型为基于残差结构和重建结构的多层神经网络。具体地，在步骤S102中，多尺度图像超分辨率重建模型的训练数据基于与预先确定的第二分辨率图像样本对应的第一分辨率图像样本以及预先确定的第二分辨率图像样本，每组训练数据基于至少一张第二分辨率图像样本和至少一张与第二分辨率图像样本相对应的第一分辨率图像样本。进一步地，将第一分辨率图像样本经过多层残差网络，提高第一分辨率图像样本的分辨率，使第一分辨率图像样本在尺寸不变的情况下清晰度提高，然后经过重建结构，扩大图像尺寸，输出单一尺寸的第二分辨率图像样本。针对不同尺寸的第二分辨率图像样本，需要利用与该尺寸相对应的重建结构。经过训练之后得到的多尺度图像超分辨率重建模型能将低分辨率的图像处理为不同尺度的高分辨率的图像，因此，将第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，能输出多尺度的第二分辨率图像。需要说明的是，图4中多层残差结构的层数为2，但实际上该层数并不局限，可根据图像处理的实际情况确定。本专利技术实施例提供的多尺度图像超分辨率重建方法，能同时获得不同尺度的第二分辨率图像，且针对不同尺度的第二分辨率图像，只需经过相应层数的残差结构，而无需针对不同尺度的第二分辨率图像都经过固定层数的残差结构，节约了处理时间，在保证图像清晰度的前提下提高了图像超分辨率的效率，能同时获得不同尺度的第二分辨率图像，操作方便快捷，提高了多尺度图像的超分辨率重建效率。进一步地，每层重建结构的输入为上一本文档来自技高网...

【技术保护点】
1.一种多尺度图像超分辨率重建方法，其特征在于，包括：获取第一分辨率图像；将所述第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，输出多尺度的第二分辨率图像，所述多尺度图像超分辨率重建模型为基于第二分辨率图像样本和与其对应的第一分辨率图像样本进行训练后得到，所述第二分辨率大于所述第一分辨率；所述多尺度图像超分辨率重建模型为基于残差结构和重建结构的多层神经网络。

【技术特征摘要】
1.一种多尺度图像超分辨率重建方法，其特征在于，包括：获取第一分辨率图像；将所述第一分辨率图像输入至训练好的多尺度图像超分辨率重建模型，输出多尺度的第二分辨率图像，所述多尺度图像超分辨率重建模型为基于第二分辨率图像样本和与其对应的第一分辨率图像样本进行训练后得到，所述第二分辨率大于所述第一分辨率；所述多尺度图像超分辨率重建模型为基于残差结构和重建结构的多层神经网络。2.根据权利要求1所述的一种多尺度图像超分辨率重建方法，其特征在于，每层所述重建结构的输入为上一层残差结构的输出，每层所述重建结构的输出为单一尺寸的第二分辨率图像。3.根据权利要求1所述的一种多尺度图像超分辨率重建方法，其特征在于，所述多尺度图像超分辨率重建模型的训练数据的获取包括以下步骤：通过OpenCV中的下采样函数对所述第二分辨率图像样本进行下采样，加入噪声，并进行JPEG压缩，得到与所述第二分辨率图像样本对应的第一分辨率图像样本；将所述第二分辨率图像样本任意裁剪第二像素尺寸的区域，并裁剪所述第一分辨率图像样本中与所述第二像素尺寸的区域对应的第一像素尺寸的区域；所述第二分辨率图像样本的尺寸和所述第一分辨率图像样本的尺寸之比值与所述第二像素尺寸和所述第一像素尺寸之比值相同；将所述第一像素尺寸的区域和所述第二像素尺寸的区域作为所述训练数据。4.根据权利要求1所述的一种多尺度图像超分辨率重建方法，其特征在于，上一层残差结构的输出与所述上一层残差结构的输入之和为下一层残差结构的输入。5.根据...

【专利技术属性】
技术研发人员：许靳昌，董远，白洪亮，熊风烨，
申请(专利权)人：北京飞搜科技有限公司，
类型：发明
国别省市：北京,11